💡 Key Takeaway

Building AI literacy starts with hands-on experimentation. Free APIs let you test real workflows before you spend.

快速回答

如果您只想要最简单的路径：

  • Ollama 是大多数人的最佳默认起点。
  • LM Studio 是最佳图形用户界面优先选项。
  • MLX / mlx-lm 是 Apple Silicon Mac 上最本地的路线。
  • llama.cpp 是如果您想要更多控制的最佳工具。
  • AirLLM 更高级，主要在您想要将超大模型推送到有限硬件时才有趣。

为什么本地模型很重要

本地模型重要，因为它们教会您的远不止只是提示工程。一旦您在自己的机器上运行模型，您就开始理解塑造 AI 产品的真实权衡：模型大小、量化、上下文长度、启动时间、标记速度、离线使用、隐私和硬件限制。

它们还打开了云 API 并不总是处理良好的用例。您可能想要一个离线助手、本地文档分析、私人笔记搜索、一个随时在线的编码助手或零 API 成本的演示应用。本地模型并不是所有事情的正确答案，但它们是 AI 素养的重要部分。

谷歌的 Gemma 文档就是这一点变得主流的一个好例子：谷歌明确记录了 Gemma 与 Ollama 一起运行，并指出像 llama.cpp 和 Ollama 这样的框架可以在笔记本电脑或其他小设备上运行量化的 Gemma 模型，即使没有 GPU。

在哪里下载本地模型

获取本地模型的主要地方是 Hugging Face。Hugging Face Hub 自称是一个平台，拥有超过 200 万个模型，以及数据集和演示。在实践中，这是浏览模型卡片、许可证、格式和社区转换的默认位置。

您还可以通过 Hugging Face 客户端直接从命令行下载模型文件：

hf download HuggingFaceH4/zephyr-7b-beta

对于 Gemma，谷歌的官方文档将用户引导至 Kaggle 和 Hugging Face。对于 Qwen，Hugging Face 官方组织表示 Qwen 是由阿里巴巴云构建的大语言模型系列。

特定工具的目录也存在。LM Studio 具备内置下载器，用于从 Hugging Face 下载受支持的模型，而 Ollama 通过 CLI 和模型库有自己的模型工作流。

运行本地模型的最佳方法

1. Ollama

最佳适用：初学者、本地 API、快速设置和简单工作流。

Ollama 是大多数人开始的最简单地方。它的官方文档说它可以在 Windows、macOS 和 Linux 上运行，并且在 Windows 上作为本地应用程序运行，支持 NVIDIA 和 AMD Radeon GPU。它还在 http://localhost:11434 上提供本地 API。

基本的 CLI 简单到：

ollama run gemma3

2. LM Studio

最佳适用：想要图形用户界面、更简单的模型浏览和本地 OpenAI 风格端点的用户。

LM Studio 是最对初学者友好的图形路径。它的文档表示支持 Mac、Windows 和 Linux，并允许您 从 Hugging Face 搜索和下载模型，可以运行 llama.cpp (GGUF) 模型，在 Apple Silicon Mac 上，还支持 MLX。它还可以通过 与 OpenAI 兼容 的端点提供本地模型。

如果您想要不依赖终端的本地 AI，LM Studio 通常是最简单的选择。

3. llama.cpp

最佳适用：高级用户、API 提供、GGUF 文件和更深入的本地 AI 理解。

如果您想更认真地学习本地模型生态系统，请学习 llama.cpp。它的 README 记录了一个轻量级的、与 OpenAI 兼容的 HTTP 服务器，并支持直接从 Hugging Face 下载模型。

典型示例如下：

llama-server -m model.gguf --port 8080
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

这使得 llama.cpp 在您想要直接控制模型文件、GGUF 量化和本地 API 提供时是理想的选择。

4. MLX / mlx-lm

最佳适用：Apple Silicon Macs。

苹果的 MLX 是为 Apple Silicon 构建的，而 mlx-lm 项目自称是一个用于在 Apple Silicon 上生成文本和微调大型语言模型的包，使用 MLX。README 还强调了 Hugging Face Hub 集成和量化支持。

mlx-lm README 记录了像这样的命令：

mlx_lm.chat
mlx_lm.generate --prompt "珠穆朗玛峰有多高？"

5. AirLLM

最佳适用：在有限硬件上进行超大模型的高级实验。

AirLLM 更专业。它的 README 表示该项目优化推理内存使用，并宣传能够在单个 4GB GPU 上运行 70B 模型，这在您主要的问题是将非常大的模型适应到原本过小的硬件时是很有趣的。

官方快速入门以如下开始：

pip install airllm

Windows、macOS 和 Linux 推荐

Windows

在 Windows 上，最简单的路线通常是 Ollama 或 LM Studio。Ollama 的 Windows 文档说它作为本地 Windows 应用程序运行，并支持 NVIDIA 和 AMD Radeon GPU。LM Studio 支持 x64 和 ARM Windows 系统，并建议至少 16GB RAM 和 4GB 专用 VRAM。

macOS

在 macOS 上，最佳选择取决于您是否拥有 Apple Silicon。Ollama 支持 Apple M 系列 Mac，而 LM Studio 则支持 Apple Silicon 和 MLX，苹果的 MLX / mlx-lm 堆栈专门为 Apple Silicon 硬件设计。

Linux

在 Linux 上，Ollama 和 llama.cpp 是最实用的起点。Ollama 的官方 Linux 安装脚本为：curl -fsSL https://ollama.com/install.sh | sh。

如何根据您的 RAM 和 GPU 选择模型

一个实用的经验法则是：权重内存 ≈ 参数数量 × 权重位数 / 8

您的硬件 实用的起点
8 GB RAM / 统一内存1B–3B 模型，理想情况下为 4 位
16 GB RAM / 统一内存3B–8B 模型通常是最佳选择
24 GB RAM / 统一内存7B–14B 变得更加舒适
8 GB VRAM GPU从 7B–8B 开始，使用 4 位
12 GB VRAM GPU8B–14B 在 4 位通常是现实可行的
24 GB VRAM GPU14B–32B 在 4 位成为现实可行
32 GB+ VRAM 或重度卸载32B–70B 试验变得可能

初学者常犯的错误

1. 从最大模型开始，而不是正确的模型

您机器可以勉强加载的最大模型通常不是最佳起点。适合的小模型通常感觉更快、更稳定且更有用。

2. 忽略上下文大小

上下文长度不是免费的。长上下文消耗内存，这就是为什么在像 Ollama 这样的工具中 VRAM 和上下文是相互关联的。

3. 将“已下载”的模型与“兼容”的模型混淆

仅仅因为您下载了一个模型，并不意味着它适合您的运行时。检查您是否需要 GGUF、MLX 兼容的权重或 Transformers 检查点。

常见问题

什么是本地 AI 模型？

本地 AI 模型是一种模型，其权重下载到您自己的计算机上，并运行在您自己的 CPU、GPU 或统一内存上，而不是通过托管 API 调用。

哪个工具最适合初学者？

对于大多数初学者来说，Ollama 是最简单的起点。如果您想要图形界面，LM Studio 通常是最简单的图形用户界面优先选项。

最终收获

最佳本地 AI 设置并不是最复杂的。它是与您的机器和您的目标相匹配的。如果您正在学习，请从简单开始。使用 Ollama 或 LM Studio。如果您在 Apple Silicon 上并且想要一个更本地的路线，请转向 MLX。如果您想要更深入的控制，请学习 llama.cpp。

在 AI 职业网站上探索最新的 AI 职位，或继续在我们的 学习 AI 部分学习。

Frequently Asked Questions

不需要。一旦您下载了模型权重和必要的软件（如 Ollama 或 LM Studio），您就可以完全离线运行 AI。这是本地 AI 在隐私和可及性方面的主要好处之一。