Building AI literacy starts with hands-on experimentation. Free APIs let you test real workflows before you spend.
Respuesta rápida
Si solo deseas el camino más fácil:
- Ollama es el mejor punto de partida predeterminado para la mayoría de las personas.
- LM Studio es la mejor opción con interfaz gráfica.
- MLX / mlx-lm es la ruta más nativa de Apple en Macs con Apple Silicon.
- llama.cpp es la mejor herramienta para aprender si deseas más control.
- AirLLM es más avanzado y es principalmente interesante cuando deseas forzar modelos sobredimensionados en hardware limitado.
Por qué importan los modelos locales
Los modelos locales importan porque te enseñan más que la ingeniería de prompts sola. Una vez que ejecutas un modelo en tu propia máquina, comienzas a comprender las verdaderas compensaciones que dan forma a los productos de IA: tamaño del modelo, cuantización, longitud del contexto, tiempo de inicio, velocidad de token, uso sin conexión, privacidad y límites de hardware.
También abren casos de uso que las API en la nube no siempre manejan bien. Puede que desees un asistente sin conexión, análisis de documentos locales, búsqueda de notas privadas, un ayudante de codificación siempre activo, o una aplicación de demostración sin costo por API. Los modelos locales no son la respuesta correcta para todo, pero son una parte importante de la alfabetización en IA.
La documentación de Gemma de Google es un buen ejemplo de lo común que se ha vuelto esto: Google documenta explícitamente que Gemma se ejecuta con Ollama y señala que frameworks como llama.cpp y Ollama pueden ejecutar modelos de Gemma cuantizados en una laptop u otro dispositivo pequeño, incluso sin GPU.
Dónde descargar modelos locales
El lugar principal para obtener modelos locales es Hugging Face. El Hugging Face Hub se describe a sí mismo como una plataforma con más de 2 millones de modelos, junto con conjuntos de datos y demostraciones. En la práctica, es el lugar predeterminado para navegar por tarjetas de modelos, licencias, formatos y conversiones de la comunidad.
También puedes descargar archivos de modelos directamente desde la línea de comandos con el cliente de Hugging Face:
hf download HuggingFaceH4/zephyr-7b-betaPara Gemma, la documentación oficial de Google indica a los usuarios tanto a Kaggle como a Hugging Face. Para Qwen, la organización oficial de Hugging Face afirma que Qwen es la familia de modelos de lenguaje grande construida por Alibaba Cloud.
También existen catálogos específicos de herramientas. LM Studio tiene un descargador incorporado para modelos compatibles de Hugging Face, y Ollama tiene su propio flujo de trabajo de modelos a través de la CLI y la biblioteca de modelos.
Mejores formas de ejecutar modelos locales
1. Ollama
Mejor para: principiantes, API locales, configuración rápida y flujos de trabajo simples.
Ollama es el lugar más fácil para comenzar para la mayoría de las personas. Su documentación oficial dice que funciona en Windows, macOS y Linux, y en Windows funciona como una aplicación nativa con soporte para GPU NVIDIA y AMD Radeon. También proporciona una API local en http://localhost:11434.
La CLI básica es tan simple como:
ollama run gemma32. LM Studio
Mejor para: personas que quieren una GUI, navegación más fácil por los modelos y un punto final local al estilo de OpenAI.
LM Studio es la ruta gráfica más amigable para principiantes. Su documentación dice que es compatible con Mac, Windows y Linux, te permite buscar y descargar modelos de Hugging Face, puede ejecutar modelos llama.cpp (GGUF) y, en Macs con Apple Silicon, también es compatible con MLX. También puede servir modelos locales a través de puntos finales compatibles con OpenAI.
Si deseas IA local sin vivir en la terminal, LM Studio suele ser la ruta más fácil.
3. llama.cpp
Mejor para: usuarios avanzados, servicio de API, archivos GGUF y comprensión más profunda de la IA local.
Si deseas aprender el ecosistema de modelos locales de manera más seria, aprende llama.cpp. Su README documenta un servidor HTTP ligero y compatible con OpenAI y también admite la descarga de modelos directamente de Hugging Face.
Ejemplos típicos son:
llama-server -m model.gguf --port 8080
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080Eso hace que llama.cpp sea ideal cuando deseas control directo sobre los archivos de modelo, las cuantizaciones GGUF y el servicio de API local.
4. MLX / mlx-lm
Mejor para: Macs con Apple Silicon.
El MLX de Apple está diseñado para Apple Silicon, y el proyecto mlx-lm se describe a sí mismo como un paquete para generar texto y ajustar modelos de lenguaje grandes en Apple Silicon con MLX. El README también destaca la integración con Hugging Face Hub y el soporte de cuantización.
El README de mlx-lm documenta comandos como:
mlx_lm.chat
mlx_lm.generate --prompt "¿Qué altura tiene el monte Everest?"5. AirLLM
Mejor para: experimentos avanzados con modelos sobredimensionados en hardware limitado.
AirLLM es más especializado. Su README dice que el proyecto optimiza el uso de memoria de inferencia y publicita la ejecución de modelos de 70B en una sola GPU de 4GB, lo que lo hace interesante si tu problema principal es ajustar modelos muy grandes en hardware que normalmente sería demasiado pequeño.
El inicio rápido oficial comienza con:
pip install airllmRecomendaciones para Windows, macOS y Linux
Windows
En Windows, la ruta más fácil suele ser Ollama o LM Studio. La documentación de Ollama para Windows dice que funciona como una aplicación nativa de Windows y admite tanto NVIDIA como AMD Radeon GPUs. LM Studio es compatible con sistemas Windows x64 y ARM y recomienda al menos 16GB de RAM y 4GB de VRAM dedicada.
macOS
En macOS, la mejor opción depende de si tienes Apple Silicon. Ollama es compatible con Macs de la serie M de Apple, mientras que LM Studio es compatible con Apple Silicon y MLX, y la pila MLX / mlx-lm de Apple está específicamente diseñada para hardware de Apple Silicon.
Linux
En Linux, Ollama y llama.cpp son los puntos de partida más prácticos. El script de instalación oficial para Linux de Ollama es: curl -fsSL https://ollama.com/install.sh | sh.
Cómo elegir un modelo para tu RAM y GPU
Una regla práctica es: peso de memoria ≈ cantidad de parámetros × bits por peso / 8
| Tu hardware | Punto de partida práctico |
|---|---|
| 8 GB RAM / memoria unificada | Modelos de 1B–3B, idealmente de 4 bits |
| 16 GB RAM / memoria unificada | Modelos de 3B–8B suelen ser el punto dulce |
| 24 GB RAM / memoria unificada | 7B–14B se vuelve mucho más cómodo |
| GPU de 8 GB de VRAM | Comienza alrededor de 7B–8B a 4 bits |
| GPU de 12 GB de VRAM | 8B–14B a 4 bits suele ser realista |
| GPU de 24 GB de VRAM | 14B–32B a 4 bits se vuelve realista |
| GPU de 32 GB o más de VRAM o desbordamiento pesado | Experimentación de 32B–70B se vuelve posible |
Errores comunes que cometen los principiantes
1. Empezar con el modelo más grande en lugar del modelo correcto
El modelo más grande que tu máquina puede cargar apenas es raramente el mejor punto de partida. Los modelos más pequeños que se ajustan bien a menudo se sienten más rápidos, más estables y más útiles.
2. Ignorar el tamaño del contexto
La longitud del contexto no es gratuita. Un contexto largo consume memoria, que es por eso que la VRAM y el contexto están vinculados en herramientas como Ollama.
3. Confundir “descargado” con “compatible”
Solo porque descargaste un modelo no significa que se ajuste a tu tiempo de ejecución. Verifica si necesitas pesos compatibles con GGUF, MLX o un punto de control de Transformers.
Preguntas frecuentes
¿Qué es un modelo de IA local?
Un modelo de IA local es un modelo cuyos pesos se descargan en tu propia computadora y se ejecutan en tu propio CPU, GPU o memoria unificada en lugar de ser llamados a través de una API alojada.
¿Qué herramienta es más fácil para los principiantes?
Para la mayoría de los principiantes, Ollama es el lugar más fácil para empezar. Si deseas una interfaz gráfica, LM Studio es a menudo la opción más fácil con GUI.
Conclusión final
La mejor configuración de IA local no es la más compleja. Es la que coincide con tu máquina y tu objetivo. Si estás aprendiendo, comienza simple. Usa Ollama o LM Studio. Pasa a MLX si estás en Apple Silicon y deseas una ruta más nativa. Aprende llama.cpp si deseas un control más profundo.
Explora las últimas ofertas de trabajo en IA en AI Career, o continúa aprendiendo en nuestra sección de Aprender IA.
Frequently Asked Questions
No. Una vez que hayas descargado los pesos del modelo y el software necesario (como Ollama o LM Studio), puedes ejecutar la IA completamente sin conexión. Este es uno de los beneficios principales de la IA local para la privacidad y la accesibilidad.
Sí. Muchas herramientas como Ollama y llama.cpp están optimizadas para ejecutarse en CPUs utilizando RAM del sistema. Aunque puede ser más lento que una GPU dedicada, los modelos más pequeños (1B-8B parámetros) son muy utilizables en CPUs modernas de laptops, especialmente en Macs con Apple Silicon.
Depende del tamaño del modelo. Si bien modelos masivos como GPT-4 o Claude 3.5 Sonnet siguen siendo superiores en razonamiento general, los grandes modelos locales (70B+) son altamente competitivos. Los modelos locales más pequeños (7B-14B) a menudo son excelentes para tareas específicas como codificación, resumen o análisis de documentos privados.