Los modelos de lenguaje locales son una opción práctica si necesitas más control sobre los flujos de datos, el funcionamiento y la elección del modelo. Su conveniencia depende de tus tareas, del hardware disponible y del trabajo de mantenimiento y revisión de calidad.
Este artículo revisa las familias citadas en el panorama original de mayo de 2026. Las correcciones se comprobaron el 30 de septiembre de 2026. No es una clasificación completa de todos los modelos posteriores. Las velocidades originales carecían de una configuración de prueba documentada y no sirven como guía de compra.
La realidad del hardware#
Hay tres vías: CPU con suficiente RAM, GPU NVIDIA con VRAM propia y Apple Silicon con memoria unificada. El número de núcleos no determina por sí solo la velocidad. También importan el ancho de banda de memoria, el modelo, la cuantización, el contexto, el backend y las peticiones simultáneas.
Solo CPU: Un modelo pequeño cuantizado puede bastar para borradores, resúmenes y tareas en segundo plano. Mide los tiempos con tus tareas. Un Intel i9 o Ryzen 9 concreto no tiene automáticamente 32 núcleos. Un modelo grande puede caber en RAM y resultar demasiado lento para uso interactivo.
GPU de consumo: La RTX 4090 tiene 24 GB de VRAM; la RTX 4080, 16 GB. Un modelo de 32B en un formato común de cuatro bits puede caber en una 4090 según el archivo y el contexto. Esto no lo garantiza para la 4080. Pesos, caché KV y buffers deben caber juntos.
Los pesos de un modelo de 70B requieren como mínimo teórico unos 35 GB a cuatro bits o 26,25 GB a tres bits, sin costes adicionales. No caben íntegramente en una tarjeta de 24 GB. Descargar parte a RAM o usar varias GPU puede permitir ejecutarlo, pero cambia mucho la velocidad y la operación.
Apple Silicon: CPU y GPU comparten memoria. Eso permite modelos mayores que una GPU con poca VRAM. El sistema operativo y las aplicaciones también necesitan memoria. Un Mac de 64 GB no demuestra una tasa de tokens determinada ni una ventaja universal sobre NVIDIA.
Antes de comprar, prueba calidad, latencia, contexto largo y usuarios simultáneos. Incluye electricidad, configuración y mantenimiento en los costes.
Los modelos que conviene conocer#
Qwen3: La publicación original contiene modelos densos de 0,6B, 1,7B, 4B, 8B, 14B y 32B, más los MoE 30B-A3B y 235B-A22B. Un Qwen3 original de 7B o 72B no pertenece a esta familia. Las variantes pequeñas y 14B son candidatos para probar, no ganadores universales.
Llama 3.3: El modelo oficial al que nos referimos es Llama 3.3 70B Instruct. La recomendación anterior de Llama 3.3 8B era incorrecta. Una variante pequeña de otra generación debe evaluarse con su nombre real.
Gemma 3: La familia original incluye 1B, 4B, 12B y 27B. La variante original de 8B indicada antes era incorrecta. Comprueba la ficha, la licencia, la calidad lingüística y, si procede, el soporte de imágenes.
Mistral, Phi-4 y las variantes destiladas de DeepSeek-R1 son otros candidatos. Los modelos de razonamiento pueden producir respuestas más largas y tardar más. Los resultados de otros benchmarks no sustituyen tus pruebas de documentos, textos o llamadas a herramientas. Los pesos abiertos también tienen condiciones de licencia.
En MoE, los parámetros activos describen el cálculo por token, no la memoria total. Un 235B-A22B sigue necesitando tener disponibles los pesos de sus expertos; para dimensionar hardware no es un modelo de 22B.
El stack#
Ollama facilita el inicio con una API local. llama.cpp ofrece control más directo de archivos GGUF y opciones de ejecución. vLLM interesa para peticiones simultáneas, sujeto al soporte del modelo y del hardware. LocalAI combina varios backends. MLX-LM es una opción para Apple Silicon.
Elige según interfaces, soporte y operación. Una API compatible con OpenAI facilita integrar, pero no garantiza un comportamiento idéntico de todas las herramientas.
Cuantización y memoria#
La cuantización reduce la memoria de los pesos. No permite reducir un modelo arbitrariamente sin pérdida de calidad. Q4_K_M puede ser un punto de partida razonable; Q5, Q6 y Q8 necesitan más memoria. Compara formatos IQ y cuantizaciones muy bajas con tus tareas.
El tamaño del archivo descargado es solo parte del cálculo. Un contexto largo y varias peticiones aumentan la memoria necesaria. Que un modelo cargue no garantiza que funcione estable con el contexto previsto.
Eligiendo tu configuración#
Empieza con un modelo manejable y una configuración documentada. Compara las mismas tareas: resumen, borrador, pregunta sobre documentos y llamada a herramienta si la necesitas. Registra errores, latencia y uso de memoria.
Puedes probar localmente ollama run qwen3:14b. Comprueba la variante y cuantización descargadas. Qwen3 8B es un candidato menor para equipos menos potentes. Un servidor de equipo necesita además pruebas de carga y control de acceso.
Local significa revisar los flujos de datos#
La inferencia local puede evitar enviar prompts al proveedor del modelo, pero solo en la ruta realmente local. Modelos cloud, búsquedas web, API de embeddings, administración remota, registros y copias pueden seguir transfiriendo datos. Ollama documenta OLLAMA_NO_CLOUD=1 para desactivar sus funciones cloud. Revisa también la aplicación y sus integraciones.
Los siguientes lanzamientos pueden cambiar calidad y requisitos. Las compras deben basarse en pruebas reproducibles de tus tareas y no en previsiones para el próximo trimestre.
Fuentes y fecha de revisión#
Revisado el 30 de septiembre de 2026.
