💡 Key Takeaway

Building AI literacy starts with hands-on experimentation. Free APIs let you test real workflows before you spend.

Snelle antwoord

Als je gewoon de gemakkelijkste weg wilt:

  • Ollama is het beste standaard beginpunt voor de meeste mensen.
  • LM Studio is de beste optie met een GUI.
  • MLX / mlx-lm is de meest Apple-native route op Apple Silicon Macs.
  • llama.cpp is het beste hulpmiddel om te leren als je meer controle wilt.
  • AirLLM is geavanceerder en is voornamelijk interessant als je oversized modellen op beperkte hardware wilt draaien.

Waarom lokale modellen belangrijk zijn

Lokale modellen zijn belangrijk omdat ze je meer leren dan alleen prompt engineering. Zodra je een model op je eigen machine draait, begin je de echte afwegingen te begrijpen die AI-producten vormen: modelgrootte, kwantisatie, contextlengte, opstarttijd, tokensnelheid, offline gebruik, privacy en hardwarelimieten.

Ze openen ook gebruiksgevallen die cloud-API's niet altijd goed afhandelen. Je wilt misschien een offline assistent, lokale documentanalyse, privézoekopdracht in notities, een altijd beschikbare coderingshelper, of een demo-app zonder API-kosten. Lokale modellen zijn niet het juiste antwoord voor alles, maar ze zijn een belangrijk onderdeel van AI-vaardigheid.

De documentatie van Google’s Gemma is een goed voorbeeld van hoe mainstream dit is geworden: Google documenteert expliciet hoe Gemma draait met Ollama en merkt op dat frameworks zoals llama.cpp en Ollama gequantiseerde Gemma-modellen kunnen draaien op een laptop of ander klein apparaat, zelfs zonder een GPU.

Waar lokale modellen te downloaden

De belangrijkste plek om lokale modellen te verkrijgen is Hugging Face. De Hugging Face Hub beschrijft zichzelf als een platform met meer dan 2 miljoen modellen, naast datasets en demo's. In de praktijk is dit de standaard plek om modelkaarten, licenties, formaten en community-conversies te doorbladeren.

Je kunt ook modelbestanden rechtstreeks vanaf de opdrachtregel downloaden met de Hugging Face-client:

hf download HuggingFaceH4/zephyr-7b-beta

Voor Gemma verwijzen Google’s officiële documenten gebruikers naar zowel Kaggle als Hugging Face. Voor Qwen stelt de officiële Hugging Face-organisatie dat Qwen de grote taalmodelfamilie is die door Alibaba Cloud is gebouwd.

Er bestaan ook specifieke catalogi voor tools. LM Studio heeft een ingebouwde downloader voor ondersteunde modellen van Hugging Face, en Ollama heeft zijn eigen modelworkflow via de CLI en het modellenbibliotheek.

Beste manieren om lokale modellen te draaien

1. Ollama

Het beste voor: beginners, lokale API's, snelle setup en eenvoudige workflows.

Ollama is de gemakkelijkste plek om te beginnen voor de meeste mensen. De officiële documenten zeggen dat het draait op Windows, macOS en Linux, en op Windows draait het als een native applicatie met NVIDIA en AMD Radeon GPU-ondersteuning. Het biedt ook een lokale API op http://localhost:11434.

De basis CLI is zo eenvoudig als:

ollama run gemma3

2. LM Studio

Het beste voor: mensen die een GUI willen, gemakkelijker modeldoorbladeren en een lokaal OpenAI-stijl eindpunt.

LM Studio is de meest beginnersvriendelijke grafische route. De documenten zeggen dat het Mac, Windows en Linux ondersteunt, je laat zoeken en downloaden van modellen van Hugging Face, kan llama.cpp (GGUF) modellen draaien en ondersteunt, op Apple Silicon Macs, ook MLX. Het kan ook lokale modellen serveren via OpenAI-compatibele eindpunten.

Als je lokale AI wilt zonder in de terminal te leven, is LM Studio vaak de gemakkelijkste route.

3. llama.cpp

Het beste voor: geavanceerde gebruikers, API-serveren, GGUF-bestanden en diepere lokale-AI-betekenis.

Als je het lokale modelecosysteem serieuzer wilt leren, leer dan llama.cpp. Zijn README documenteert een lichtgewicht, OpenAI-compatibele HTTP-server en ondersteunt ook het downloaden van modellen rechtstreeks van Hugging Face.

Typische voorbeelden zien eruit als:

llama-server -m model.gguf --port 8080
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

Dat maakt llama.cpp ideaal wanneer je directe controle wilt over modelbestanden, GGUF-kwantisaties en lokaal API-serveren.

4. MLX / mlx-lm

Het beste voor: Apple Silicon Macs.

Apple’s MLX is gebouwd voor Apple Silicon, en het mlx-lm project beschrijft zichzelf als een pakket voor het genereren van tekst en het fine-tunen van grote taalmodellen op Apple Silicon met MLX. De README benadrukt ook de integratie met de Hugging Face Hub en de ondersteuning voor kwantisatie.

De mlx-lm README documenteert commando's zoals:

mlx_lm.chat
mlx_lm.generate --prompt "Hoe hoog is de Mt Everest?"

5. AirLLM

Het beste voor: geavanceerde experimenten met oversized modellen op beperkte hardware.

AirLLM is meer gespecialiseerd. De README zegt dat het project het gebruik van geheugen tijdens inferentie optimaliseert en adverteert met het draaien van 70B-modellen op een enkele 4GB GPU, wat interessant is als je grootste probleem is om zeer grote modellen op hardware te passen die normaal te klein zou zijn.

De officiële snellstart begint met:

pip install airllm

Windows, macOS en Linux aanbevelingen

Windows

Op Windows is de gemakkelijkste route meestal Ollama of LM Studio. Ollama’s Windows-documenten zeggen dat het draait als een native Windows-applicatie en ondersteuning biedt voor zowel NVIDIA als AMD Radeon GPU's. LM Studio ondersteunt zowel x64 als ARM Windows-systemen en raadt ten minste 16GB RAM en 4GB toegewezen VRAM aan.

macOS

Op macOS hangt de beste keuze af van of je Apple Silicon hebt. Ollama ondersteunt Apple M-serie Macs, terwijl LM Studio Apple Silicon en MLX ondersteunt en de MLX / mlx-lm stack van Apple specifiek is ontworpen voor Apple Silicon-hardware.

Linux

Op Linux zijn Ollama en llama.cpp de meest praktische beginpunten. De officiële Linux-installatiescript van Ollama is: curl -fsSL https://ollama.com/install.sh | sh.

Hoe een model te kiezen voor jouw RAM en GPU

Een praktische vuistregel is: gewicht geheugen ≈ parameter aantal × bits per gewicht / 8

Jouw hardware Praktisch startpunt
8 GB RAM / unificeerd geheugen1B–3B modellen, idealiter 4-bit
16 GB RAM / unificeerd geheugen3B–8B modellen zijn meestal de gouden middenweg
24 GB RAM / unificeerd geheugen7B–14B wordt veel comfortabeler
8 GB VRAM GPUBegin rond 7B–8B op 4-bit
12 GB VRAM GPU8B–14B op 4-bit is meestal realistisch
24 GB VRAM GPU14B–32B op 4-bit wordt realistisch
32 GB+ VRAM of zware offloading32B–70B experimenteren wordt mogelijk

Veelvoorkomende fouten van beginners

1. Beginnen met het grootste model in plaats van het juiste model

Het grootste model dat je machine nauwelijks kan laden is zelden het beste startpunt. Kleinere modellen die goed passen voelen vaak sneller, stabieler en nuttiger aan.

2. Negeer de contextgrootte

Contextlengte is niet gratis. Lange context verbruikt geheugen, wat de reden is dat VRAM en context zijn gekoppeld in tools zoals Ollama.

3.

Vaak gestelde vragen

Wat is een lokaal AI-model?

Een lokaal AI-model is een model waarvan de gewichten worden gedownload naar je eigen computer en draaien op je eigen CPU, GPU of unificeerd geheugen in plaats van dat ze worden opgeroepen via een gehoste API.

Welke tool is het makkelijkst voor beginners?

Voor de meeste beginners is Ollama de gemakkelijkste plek om te beginnen. Als je een grafische interface wilt, is LM Studio vaak de eenvoudigste optie met GUI.

Laatste conclusie

De beste lokale-AI-setup is niet de meest complexe. Het is degene die past bij jouw machine en jouw doel. Als je leert, begin dan simpel. Gebruik Ollama of LM Studio. Ga naar MLX als je op Apple Silicon bent en een meer native route wilt. Leer llama.cpp als je meer controle wilt.

Ontdek de nieuwste AI-banen op AI Career, of ga door met leren in onze Leer AI sectie.

Frequently Asked Questions

Nee. Zodra je de modelgewichten en de nodige software (zoals Ollama of LM Studio) hebt gedownload, kun je de AI volledig offline draaien. Dit is een van de belangrijkste voordelen van lokale AI voor privacy en toegankelijkheid.