Modelo de Hugging Face en local: la RAM es el límite

Para ejecutar un modelo de Hugging Face en local hay dos rutas principales: cargar el repositorio original con Python y Transformers, o usar una versión GGUF con llama.cpp, Ollama, Jan o LM Studio. Transformers sirve para integrar distintos tipos de modelo en código; GGUF suele ser la vía más directa para inferencia con modelos de lenguaje.

Una GPU potente no es imprescindible, pero tampoco elimina la restricción central: los pesos, el contexto y la memoria auxiliar deben caber en los recursos del equipo. Si la RAM libre queda demasiado cerca del tamaño requerido, conviene reducir la cuantización o el contexto antes de descargar otro archivo.

Elegir la ruta por tarea, sistema y memoria

La decisión empieza por la tarea. Para clasificación, embeddings, visión, audio, entrenamiento o acceso directo a tokenizadores y tensores, usa Transformers. Para conversar con un LLM, abrir una API local o probar un modelo cuantizado, elige una aplicación compatible con GGUF.

llama.cpp: ofrece terminal, servidor y biblioteca, con ejecución sobre CPU y distintas opciones de aceleración.
Ollama: simplifica la descarga, administración y exposición de modelos mediante comandos y una API local.
Jan o LM Studio: proporcionan una interfaz gráfica para buscar, cargar y probar modelos desde el escritorio.
Transformers: conserva la estructura original del repositorio y encaja mejor cuando el modelo forma parte de una aplicación Python o la tarea no es solo generar texto.

La documentación de aplicaciones locales de Hugging Face recoge llama.cpp, Ollama, Jan y LM Studio, y explica que la ejecución local evita enviar las entradas a un servidor remoto y deja el rendimiento limitado por el hardware propio.

En cualquier sistema operativo, comprueba primero que la herramienta ofrezca una compilación compatible con tu equipo. Si prefieres una interfaz, escoge Jan o LM Studio; para scripts y servidores, llama.cpp, Ollama o Transformers ofrecen un flujo más fácil de automatizar. Con poca RAM libre, descarta de entrada los archivos cuyo tamaño ya se aproxime al total disponible.

Calcular los pesos antes de descargar

Dos cuantizaciones GGUF del mismo modelo comparadas con la RAM disponible; la variante más pequeña logra cargarse en local.

La estimación teórica de los pesos es sencilla: multiplica el número de parámetros por los bits de precisión y divide entre ocho. Un modelo de 7.000 millones de parámetros necesita unos 14 GB a 16 bits o 3,5 GB a 4 bits únicamente para representar los pesos. Son resultados aritméticos, no una promesa de consumo final.

GGUF es un formato utilizado por llama.cpp y herramientas compatibles para distribuir modelos, incluidos pesos cuantizados y los metadatos necesarios para cargarlos. La cuantización representa los pesos con menos bits: una variante Q4 suele ocupar menos que una Q8 del mismo modelo, pero también conserva menos información numérica.

El nombre de la cuantización no basta para decidir. Abre la lista de archivos del repositorio y consulta el tamaño exacto de la variante, porque el empaquetado y el método de cuantización introducen diferencias. En disco necesitas espacio para el archivo y para cualquier copia temporal o caché que genere la herramienta.

Para la RAM, compara el archivo con la memoria realmente libre después de iniciar el sistema, no con la capacidad instalada. Deja margen para el motor, los búferes, la caché de claves y valores y el contexto. Cuanto más largo sea el contexto y mayor el lote, mayor será el consumo adicional; por eso la primera prueba debe usar una entrada corta y un solo elemento.

Cargar el modelo con Transformers

Crea y activa un entorno aislado con python -m venv .venv.
Instala transformers, una versión de torch adecuada para tu hardware y, si vas a repartir el modelo, accelerate.
Carga el tokenizador y la clase AutoModel apropiada mediante from_pretrained(), usando el identificador exacto del repositorio.
Ejecuta primero una entrada breve. Aumenta el lote, el contexto o los tokens generados solo después de observar el consumo real.

Al llamar a from_pretrained(), Transformers descarga los archivos y los reutiliza desde la caché. La guía de instalación de Transformers sitúa la caché predeterminada en ~/.cache/huggingface/hub —bajo el perfil del usuario en Windows— y permite cambiarla mediante HF_HUB_CACHE o HF_HOME.

Si el repositorio exige autorización, la cuenta debe tener acceso antes de descargarlo y el proceso necesita credenciales válidas durante esa descarga. Un fallo de autorización no se resuelve reduciendo el modelo ni liberando memoria; primero hay que revisar el acceso al repositorio.

Usar GGUF sin una GPU dedicada

Busca una variante GGUF publicada para la arquitectura concreta y revisa su tamaño, cuantización y plantilla de conversación. No conviertas un archivo Safetensors en GGUF cambiando la extensión: ambos formatos requieren procesos de carga diferentes, y la conversión debe estar soportada por la arquitectura.

Con llama.cpp puedes cargar el archivo desde terminal y, si lo necesitas, iniciar un servidor local. Ollama prioriza la administración mediante comandos; Jan y LM Studio facilitan la selección desde una interfaz. La aplicación cambia el flujo de trabajo, pero no hace que un modelo demasiado grande pase a caber en la misma RAM.

La CPU permite ejecutar modelos cuando no hay una GPU dedicada, aunque la generación puede ser más lenta. Si el motor permite descargar algunas capas en una GPU, empieza con una asignación conservadora y observa la memoria ocupada antes de aumentarla. Si falla la carga, reduce primero el contexto o elige un GGUF más pequeño.

Cuando el modelo supera la memoria disponible

En Transformers, device_map="auto" puede distribuir capas entre los aceleradores, la CPU y el disco. La guía de inferencia para modelos grandes de Accelerate especifica ese orden y señala que el disco es la alternativa más lenta. El reparto amplía lo que puede cargarse, pero añade transferencias y no sustituye la memoria que necesita la capa activa.

Ante un error de memoria, reduce el lote a uno, acorta el contexto y limita los tokens de salida. Si aún no cabe, cambia a una cuantización menor o a un modelo con menos parámetros. Borrar la caché libera almacenamiento, no RAM de ejecución; moverla a otra unidad solo ayuda cuando el problema es el espacio del volumen.

Preparar una ejecución sin conexión verificable

Con red disponible, descarga una instantánea completa con snapshot_download o carga el modelo una vez para llenar la caché. Fija una revisión si necesitas reproducibilidad.
Conserva el tokenizador, la configuración, los archivos de generación y cualquier archivo adicional requerido por el repositorio.
Desconecta la red, establece HF_HUB_OFFLINE=1 y carga desde la carpeta descargada o con local_files_only=True.
Reinicia el proceso y ejecuta una entrada conocida. Si falta un archivo, completa la instantánea antes de repetir la prueba.

Para GGUF, guarda también la plantilla de conversación y la configuración del motor. Para Transformers, conserva la instantánea y las versiones de las dependencias. La comprobación termina cuando un proceso nuevo produce una salida sin red y sin intentar recuperar archivos del Hub.

Ejecutar un modelo de Hugging Face en local: la RAM pone el límite