💡 Key Takeaway

Building AI literacy starts with hands-on experimentation. Free APIs let you test real workflows before you spend.

Greitas atsakymas

Jei norite paprasčiausio kelio:

  • Ollama yra geriausias pradinio taško pasirinkimas daugumai žmonių.
  • LM Studio yra geriausias GUI pirmasis pasirinkimas.
  • MLX / mlx-lm yra labiausiai Apple natūralus kelias Apple Silicon Mac kompiuteriuose.
  • llama.cpp yra geriausias įrankis, jei norite daugiau kontrollės.
  • AirLLM yra labiau pažangi ir yra ypač įdomi, kai norite pritaikyti didelius modelius ribotuose kompiuteriuose.

Kodėl vietiniai modeliai yra svarbūs

Vietiniai modeliai yra svarbūs, nes jie moko jus daugiau nei tik prompt inžinerija. Kai veiksite modelį savo mašinoje, pradėsite suprasti tikruosius kompromisus, kurie formuoja AI produktus: modelio dydis, kvantizacija, konteksto ilgis, paleidimo laikas, žymų greitis, neprisijungus naudojimas, privatumas ir aparatinės įrangos apribojimai.

Taip pat jie atveria naudojimo atvejus, kurių debesų API ne visuomet gerai tvarko. Galbūt norite neprisijungus asistento, vietinės dokumentų analizės, privačios užrašų paieškos, nuolat veikiančių kodavimo pagalbininkų arba demonstruojamo aplikacijos be API kainos. Vietiniai modeliai nėra teisingas atsakymas viskam, bet jie yra svarbi AI raštingumo dalis.

„Google“ Gemma dokumentacija yra geras pavyzdys, kaip tai tapo įprasta: „Google“ aiškiai dokumentuoja Gemma veikimą su Ollama ir pastebi, kad tokios sistemos kaip llama.cpp ir Ollama gali vykdyti kvantizuotus Gemma modelius nešiojamuose kompiuteriuose ar kituose mažuose įrenginiuose, net ir be GPU.

Kur atsisiųsti vietinius modelius

Pagrindinė vieta gauti vietinius modelius yra Hugging Face. Hugging Face Hub pristato save kaip platformą su daugiau nei 2 milijonais modelių, taip pat duomenų rinkiniais ir demonstracijomis. Praktikoje tai yra numatytoji vieta naršyti modelių korteles, licencijas, formatus ir bendruomenės konversijas.

Taip pat galite atsisiųsti modelių failus tiesiogiai iš komandų eilutės su Hugging Face klientu:

hf download HuggingFaceH4/zephyr-7b-beta

Dėl Gemma, Google oficialūs dokumentai nurodo naudotojus tiek Kaggle, tiek Hugging Face. Dėl Qwen, oficiali Hugging Face organizacija teigia, kad Qwen yra didelė kalbų modelių šeima, sukurta Alibaba Cloud.

Taip pat egzistuoja įrankiui specifiniai katalogai. LM Studio turi įmontuotą downloader'į, kad gautų palaikomus modelius iš Hugging Face, o Ollama turi savo modelių darbo eigą per CLI ir modelių biblioteką.

Geriausi būdai veikti vietinius modelius

1. Ollama

Geriausia: pradedantiesiems, vietinėms API, greitam nustatymui ir paprastoms darbo eigos.

Ollama yra lengviausia vieta pradėti daugumai žmonių. Jo oficialūs dokumentai sako, kad jis veikia Windows, macOS ir Linux, ir Windows jis veikia kaip natyvi programa su NVIDIA ir AMD Radeon GPU palaikymu. Jis taip pat teikia vietinę API adresu http://localhost:11434.

Pagrindinė CLI komanda yra tokia paprasta kaip:

ollama run gemma3

2. LM Studio

Geriausia: žmonėms, kurie nori GUI, lengvesnio modelių naršymo ir vietinio OpenAI stiliaus galinio taško.

LM Studio yra draugiškiausias pradedantiesiems grafikos maršrutas. Jo dokumentai sako, kad jis palaiko Mac, Windows ir Linux, leidžia jums ieškoti ir atsisiųsti modelius iš Hugging Face, gali veikti llama.cpp (GGUF) modelius ir, Apple Silicon Mac kompiuteriuose, taip pat palaiko MLX. Jis taip pat gali teikti vietinius modelius per OpenAI suderinamus galinius taškus.

Jei norite vietinės AI nenorėdami būti terminale, LM Studio dažnai yra lengviausias maršrutas.

3. llama.cpp

Geriausia: pažengusiems naudotojams, API teikimui, GGUF failams ir gilesniam vietinio AI supratimui.

Jei norite rimčiau išmokti vietinių modelių ekosistemą, išmokite llama.cpp. Jo README dokumentuoja lengvą, OpenAI suderinamą HTTP serverį ir taip pat palaiko modelių atsisiuntimą tiesiai iš Hugging Face.

Tipiški pavyzdžiai atrodo taip:

llama-server -m model.gguf --port 8080
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

Tai leidžia llama.cpp idealiai tinka, kai norite tiesioginės kontrolės virš modelių failų, GGUF kvantizacijų ir vietinio API teikimo.

4. MLX / mlx-lm

Geriausia: Apple Silicon Mac kompiuteriams.

Apple MLX yra sukurtas Apple Silicon, o mlx-lm projektas apibūdina save kaip paketą, skirtą generuoti tekstui ir tobulinti didelius kalbų modelius Apple Silicon su MLX. README taip pat pabrėžia Hugging Face Hub integraciją ir kvantizacijos palaikymą.

mlx-lm README dokumentuoja komandas, tokias kaip:

mlx_lm.chat
mlx_lm.generate --prompt "Kiek aukštas yra Mt Everest?"

5. AirLLM

Geriausia: pažangiems eksperimentams su dideliais modeliais ribotoje aparatinėje įrangoje.

AirLLM yra labiau specializuota. Jos README sako, kad projektas optimizuoja atminties naudojimą ir skelbia galimybę veikti 70B modeliams viename 4GB GPU, kas ją daro įdomia, jei jūsų pagrindinė problema yra pritaikyti labai didelius modelius aparatinėje įrangoje, kuri normaliai būtų per maža.

Oficialus greitas pradžios vadovas prasideda su:

pip install airllm

Windows, macOS ir Linux rekomendacijos

Windows

Windows, lengviausias maršrutas dažnai yra Ollama arba LM Studio. Ollama Windows dokumentai sako, kad jis veikia kaip natyvi Windows programa ir palaiko tiek NVIDIA, tiek AMD Radeon GPU. LM Studio palaiko tiek x64, tiek ARM Windows sistemas ir rekomenduoja turėti ne mažiau kaip 16GB RAM ir 4GB skirtą VRAM.

macOS

macOS, geriausias pasirinkimas priklauso nuo to, ar turite Apple Silicon. Ollama palaiko Apple M serijos Mac, o LM Studio palaiko Apple Silicon ir MLX, o Apple MLX / mlx-lm paketas yra specialiai sukurtas Apple Silicon aparatinės įrangos.

Linux

Linux, Ollama ir llama.cpp yra patys praktiškiausi pradžios taškai. Ollama oficiali Linux diegimo skripto komanda yra: curl -fsSL https://ollama.com/install.sh | sh.

Kaip pasirinkti modelį pagal RAM ir GPU

Praktiška taisyklė: svoris atmintis ≈ parametrų skaičius × svoriai bitais / 8

Jūsų aparatinė įranga Praktiškas pradžios taškas
8 GB RAM / sujungta atmintis1B–3B modeliai, idealiai 4 bitai
16 GB RAM / sujungta atmintis3B–8B modeliai dažnai yra tinkamas pasirinkimas
24 GB RAM / sujungta atmintis7B–14B tampa daug patogesni
8 GB VRAM GPUPradėkite nuo 7B–8B 4 bitais
12 GB VRAM GPU8B–14B 4 bitais paprastai yra realistiški
24 GB VRAM GPU14B–32B 4 bitais tampa realistiški
32 GB+ VRAM arba didelis perkėlimas32B–70B eksperimentavimas tampa įmanomas

Dažnos klaidos, kurias daro pradedantieji

1. Pradėjimas nuo didžiausio modelio vietoj teisingo modelio

Didesnis modelis, kurį jūsų mašina vos gali įkelti, retai yra geriausias pradinis taškas. Mažesni modeliai, kurie gerai telpa, dažnai atrodo greitesni, stabili ir naudingesni.

2. Ignoruoti konteksto dydį

Konteksto ilgis nėra nemokamas. Ilgas kontekstas sunaudoja atmintį, todėl VRAM ir kontekstas yra susieti tokiuose įrankiuose kaip Ollama.

3. Painiava tarp “atsisiųsto” ir “suderinamo”

Vien tai, kad atsisiuntėte modelį, nereiškia, kad jis atitinka jūsų veikimo laiką. Patikrinkite, ar jums reikia GGUF, MLX suderinamų svorių ar Transformers kontrolinio taško.

Dažnai užduodami klausimai

Kas yra vietinis AI modelis?

Vietinis AI modelis yra modelis, kurio svoriai yra atsisiųsti į jūsų kompiuterį ir veikia jūsų pačių CPU, GPU arba sujungtoje atmintyje, o ne per teikiamą API.

Kuri priemonė yra lengviausia pradedantiesiems?

Daugumai pradedančiųjų Ollama yra lengviausia vieta pradėti. Jei norite grafinės sąsajos, LM Studio dažnai yra lengviausias GUI pirmas pasirinkimas.

Paskutinė žinutė

Geriausia vietinė AI nustatymas nėra pats sudėtingiausias. Jis turi atitikti jūsų mašiną ir jūsų tikslą. Jei mokotės, pradėkite paprastai. Naudokite Ollama arba LM Studio. Pasirinkite MLX, jei esate dėl Apple Silicon ir norite natūralesnio maršruto. Išmokite llama.cpp, jei norite gilesnės kontrolės.

Tyrinėkite naujausius AI darbo pasiūlymus AI karjeroje, arba tęskite mokytis mūsų Mokykite AI skyriuje.

Frequently Asked Questions

Ne. Kai tik atsisiųsite modelių svorius ir reikalingą programinę įrangą (pvz., Ollama arba LM Studio), galite visiškai neprisijungę vykdyti AI. Tai yra viena iš pagrindinių vietinių AI naudos privatumo ir prieinamumo srityse.