Het lokaal uitvoeren van een Large Language Model (LLM) zoals ChatGPT’s gpt-oss kan meerdere voordelen hebben, waaronder het bieden van offline toegang tot een AI-taalmodeltool zoals GPT. Als je een fan bent van LLM's, AI-tools en ChatGPT, ben je misschien geïnteresseerd in het uitvoeren van een lokaal exemplaar van gpt-oss, maar zelfs als je vrij nieuw bent met AI-tools, kan het intrigerend voor je zijn om ermee te experimenteren. Bovendien, als je een van de ChatGPT-gebruikers bent die niet enthousiast zijn over GPT-5 en terug willen keren naar GPT-4, biedt het uitvoeren van gpt-oss op je Mac een andere manier om dat te doen.
We gaan een heel eenvoudige manier bespreken om gpt-oss, het open model van ChatGPT, lokaal op je Mac te laten draaien. (En ja, je kunt gpt-oss ook op Windows of Linux draaien met behulp van in principe dezelfde methoden die hieronder worden beschreven, maar we concentreren ons hier duidelijk op MacOS).
Er zijn twee versies van gpt-oss beschikbaar, we gaan ons concentreren op het lichtere gpt-oss-20b-model, omdat dit slechts 16 GB opslagruimte in beslag neemt (vergeleken met 120 GB+ voor het gpt-oss-120b-model). Dit zal het beste presteren op een krachtigere Mac met een goede GPU, maar het gpt-oss-20b-model werkt redelijk goed en is meer dan bruikbaar in onze tests op meerdere verschillende Apple Silicon Macs uit de M-serie. Hoewel gpt-oss offline draait en geen internettoegang heeft, heb je in eerste instantie nog steeds internettoegang nodig om de gegevensbestanden te downloaden.
Hoe gpt-oss lokaal en offline op Mac te draaien
Je kunt gpt-oss (ChatGPT) eenvoudig lokaal en offline op Mac uitvoeren met de gratis LM Studio-app. Zo krijg je deze configuratie snel:
- Download LM Studio gratis van https://lmstudio.ai/download
- Start LM Studio en kies “Power User”
- Zorg ervoor dat gpt-oss in het volgende scherm is geselecteerd en klik vervolgens op “Gpt-oss downloaden” om het downloaden van de benodigde bestanden te starten
- Wanneer de download is voltooid, kiest u 'Start een nieuwe chat'
- Klik bovenaan het scherm op in de titelbalk
- Selecteer “openai/gpt-oss” als uw model, waardoor het model wordt geladen zodat u ermee kunt communiceren
- Wanneer gpt-oss-20b klaar is met laden, bent u klaar voor interactie met gpt-oss, net als elk ander exemplaar van ChatGPT, chatbot of LLM
Aanbevolen leesmateriaal:Hoe Llama LLM lokaal op Mac te draaien
Geniet van je persoonlijke offline lokale GPT-ervaring! Je kunt dit net als elke andere LLM of chatbot gebruiken, en het kan vragen beantwoorden, vergelijkingen en wiskunde uitvoeren, taal en zaken als brieven of rapporten genereren, gegevens analyseren, code schrijven en al het andere dat je van een krachtige AI-tool mag verwachten.
Omdat gpt-oss offline draait, kan het niet updaten met nieuwe informatie of nieuwe gegevens opvragen via internet, maar het beschikt wel over een enorme dataset om mee te werken, zelfs in de 20b-versie. Als je nog meer mogelijkheden wilt, maar langzamere prestaties op de meeste consumenten-Macs, kun je de 120b-versie gebruiken als je daar voldoende schijfruimte voor hebt.
Dit heeft uiteraard betrekking op het lokaal uitvoeren van gpt-oss, dat is gebaseerd op GPT 4, maar er zijn veel andere modellen die je offline kunt gebruiken, waaronder lama's en de ongecensureerde lama, DeepSeek en vele anderen.
Of je nu van AI-tools houdt of er een hekel aan hebt, ze zijn er om te blijven en worden steeds krachtiger en alomtegenwoordiger. Dat je modellen offline kunt gebruiken, is van groot belang voor veel gebruikers die privacy centraal stellen, of die gewoon willen experimenteren met een LLM zonder al het enorme delen van gegevens en training die gepaard gaat met online, op het internet aangesloten AI-tools.
Als je superprivacybewust en gefocust bent, en je wilt garanderen dat er geen internettoegang is tot de LLM omdat je supergeheime discussies en interacties hebt met een LLM, dan kun je zelfs gpt-oss eerst downloaden en installeren op een virtuele machine en die virtuele machine vervolgens volledig offline halen, zodat je zeker weet dat er geen externe verbinding of toegang is. Mensen doen dat om vele redenen, waaronder het gebruik van LLM’s om zeer persoonlijke redenen. Het is allemaal aan jou, experimenteer en ontdek.
Bekijk meer AI-artikelen of ChatGPT-specifieke artikelen als je van AI en LLM's houdt!