💡 Key Takeaway

Building AI literacy starts with hands-on experimentation. Free APIs let you test real workflows before you spend.

Hurtigt svar

Hvis du bare vil have den nemmeste vej:

  • Ollama er den bedste standard startpunkt for de fleste mennesker.
  • LM Studio er det bedste GUI-første valg.
  • MLX / mlx-lm er den mest Apple-native rute på Apple Silicon Macs.
  • llama.cpp er det bedste værktøj at lære, hvis du ønsker mere kontrol.
  • AirLLM er mere avanceret og er primært interessant, når du vil presse overdimensionerede modeller på begrænset hardware.

Hvorfor lokale modeller betyder noget

Lokale modeller betyder noget, fordi de lærer dig mere end blot prompt engineering. Når du først kører en model på din egen maskine, begynder du at forstå de reelle kompromiser, der former AI-produkter: modelstørrelse, kvantisering, kontekstlængde, opstartstid, tokenspeed, offline brug, privatliv og hardwaregrænser.

De åbner også for anvendelsessager, som cloud API'er ikke altid håndterer godt. Du vil måske have en offline assistent, lokal dokumentanalyse, privat notesøgning, en altid-tilkoblet kodehjælper eller en nul-API-omkostning demo-app. Lokale modeller er ikke den rigtige løsning for alt, men de er en vigtig del af AI-læsefærdigheder.

Googles Gemma-dokumentation er et godt eksempel på, hvor mainstream dette er blevet: Google dokumenterer eksplicit Gemma, der kører med Ollama, og bemærker, at rammer som llama.cpp og Ollama kan køre kvantiserede Gemma-modeller på en bærbar computer eller anden lille enhed, selv uden en GPU.

Hvor man downloader lokale modeller

Det primære sted at hente lokale modeller er Hugging Face. Hugging Face Hub beskriver sig selv som en platform med over 2 millioner modeller, sammen med datasæt og demoer. I praksis er det det standardsted at gennemse modelkort, licenser, formater og community-ombygninger.

Du kan også downloade model filer direkte fra kommandolinjen med Hugging Face klienten:

hf download HuggingFaceH4/zephyr-7b-beta

For Gemma peger Googles officielle dokumentation brugerne mod både Kaggle og Hugging Face. For Qwen angiver den officielle Hugging Face-organisation, at Qwen er den store sprogmodel familie bygget af Alibaba Cloud.

Værktøjs-specifikke kataloger findes også. LM Studio har en indbygget downloader til understøttede modeller fra Hugging Face, og Ollama har sin egen modelarbejdsgang gennem CLI og modelbibliotek.

Bedste måder at køre lokale modeller

1. Ollama

Bedst til: nybegyndere, lokale API'er, hurtig opsætning, og enkle arbejdsgange.

Ollama er det nemmeste sted at starte for de fleste mennesker. Dens officielle dokumenter siger, at den kører på Windows, macOS, og Linux, og på Windows kører den som en native applikation med NVIDIA og AMD Radeon GPU support. Den serverer også en lokal API på http://localhost:11434.

Den grundlæggende CLI er så simpel som:

ollama run gemma3

2. LM Studio

Bedst til: folk der ønsker et GUI, nemmere modelgennemse og en lokal OpenAI-stil endpoint.

LM Studio er den mest nybegyndervenlige grafiske rute. Dens dokumentation siger, at den understøtter Mac, Windows, og Linux, lader dig søge og downloade modeller fra Hugging Face, kan køre llama.cpp (GGUF) modeller og, på Apple Silicon Macs, også understøtter MLX. Den kan også servere lokale modeller gennem OpenAI-kompatible endpoints.

Hvis du vil have lokal AI uden at leve i terminalen, er LM Studio ofte den nemmeste rute.

3. llama.cpp

Bedst til: avancerede brugere, API servering, GGUF filer, og dybere lokal-AI forståelse.

Hvis du vil lære lokale model-økosystemet mere seriøst, så lær llama.cpp. Dens README dokumenterer en letvægts, OpenAI-kompatibel HTTP-server og understøtter også at downloade modeller direkte fra Hugging Face.

Typiske eksempler ser sådan ud:

llama-server -m model.gguf --port 8080
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

Det gør llama.cpp ideel, når du ønsker direkte kontrol over model filer, GGUF kvantiseringer, og lokal API servering.

4. MLX / mlx-lm

Bedst til: Apple Silicon Macs.

Apples MLX er bygget til Apple Silicon, og mlx-lm projektet beskriver sig selv som en pakke til at generere tekst og finjustere store sprogmodeller på Apple Silicon med MLX. README'en fremhæver også Hugging Face Hub integration og kvantiseringsunderstøttelse.

mlf-lm README'en dokumenterer kommandoer som:

mlx_lm.chat
mlx_lm.generate --prompt "Hvor høj er Mt Everest?"

5. AirLLM

Bedst til: avancerede eksperimenter med overdimensionerede modeller på begrænset hardware.

AirLLM er mere specialiseret. Dens README siger, at projektet optimerer hukommelsesforbruget under inferens og reklamerer for at køre 70B modeller på en enkelt 4GB GPU, hvilket gør det interessant, hvis dit hovedproblem er at få meget store modeller til at passe på hardware, der normalt ville være for lille.

Den officielle quickstart begynder med:

pip install airllm

Windows, macOS og Linux anbefalinger

Windows

På Windows er den nemmeste rute normalt Ollama eller LM Studio. Ollama's Windows dokumenter siger, at den kører som en native Windows-applikation og understøtter både NVIDIA og AMD Radeon GPU'er. LM Studio understøtter både x64 og ARM Windows systemer og anbefaler mindst 16GB RAM og 4GB dedikeret VRAM.

macOS

På macOS afhænger det bedste valg af, om du har Apple Silicon. Ollama understøtter Apple M-serie Macs, mens LM Studio understøtter Apple Silicon og MLX, og Apples MLX / mlx-lm stak er specifikt designet til Apple Silicon hardware.

Linux

På Linux er Ollama og llama.cpp de mest praktiske startpunkter. Ollama’s officielle Linux installations script er: curl -fsSL https://ollama.com/install.sh | sh.

Hvordan man vælger en model til din RAM og GPU

En praktisk tommelfingerregel er: vægt hukommelse ≈ parameter antal × bits per vægt / 8

Dit hardware Praktisk startpunkt
8 GB RAM / samlet hukommelse1B–3B modeller, ideelt 4-bit
16 GB RAM / samlet hukommelse3B–8B modeller er normalt den sweet spot
24 GB RAM / samlet hukommelse7B–14B bliver meget mere komfortabelt
8 GB VRAM GPUStart omkring 7B–8B ved 4-bit
12 GB VRAM GPU8B–14B ved 4-bit er normalt realistisk
24 GB VRAM GPU14B–32B ved 4-bit bliver realistisk
32 GB+ VRAM eller tung aflæsning32B–70B eksperimentering bliver muligt

Almindelige fejl, som nybegyndere begår

1. Starter med den største model i stedet for den rigtige model

Den største model, som din maskine kun lige kan indlæse, er sjældent det bedste startpunkt. Mindre modeller, der passer godt, føles ofte hurtigere, mere stabile, og mere nyttige.

2. Ignorerer kontekststørrelse

Kontekstlængde er ikke gratis. Lang kontekst forbruger hukommelse, hvilket er grunden til, at VRAM og kontekst er forbundet i værktøjer som Ollama.

3. Forveksler “downloadet” med “kompatibel”

Bare fordi du har downloadet en model, betyder det ikke, at den passer til dit runtime. Tjek, om du har brug for GGUF, MLX-kompatible vægte, eller en Transformers checkpoints.

Ofte stillede spørgsmål

Hvad er en lokal AI-model?

En lokal AI-model er en model, hvis vægte er downloadet til din egen computer og køres på din egen CPU, GPU, eller samlede hukommelse i stedet for at blive kaldt gennem en hosted API.

Hvilket værktøj er lettest for nybegyndere?

For de fleste nybegyndere er Ollama det letteste sted at starte. Hvis du ønsker en grafisk grænseflade, er LM Studio ofte det letteste GUI-første valg.

Endelig takeaway

Den bedste lokale-AI opsætning er ikke den mest komplekse. Det er den, der matcher din maskine og dit mål. Hvis du lærer, start simpelt. Brug Ollama eller LM Studio. Skift til MLX, hvis du er på Apple Silicon og ønsker en mere native rute. Lær llama.cpp, hvis du ønsker dybere kontrol.

Udforsk de nyeste AI jobs på AI Karriere, eller fortsæt med at lære i vores Lær AI sektion.

Frequently Asked Questions

Nej. Når du har downloadet modelvægt og det nødvendige software (som Ollama eller LM Studio), kan du køre AI helt offline. Dette er en af de primære fordele ved lokal AI for privatliv og tilgængelighed.