La cuantización reduce la precisión numérica utilizada para representar pesos o cálculos de un modelo. Al ocupar menos memoria, un modelo puede ejecutarse en hardware más limitado o admitir más concurrencia, pero el cambio puede afectar a la calidad según la tarea y el método aplicado.
No es simplemente comprimir un archivo: modifica cómo se realizan partes del cálculo.
Por qué reduce memoria
Un peso representado con menos bits ocupa menos espacio. Eso puede permitir que el modelo quepa en VRAM o RAM y reducir transferencias entre dispositivos. También puede mejorar el uso de cachés, aunque el resultado depende del runtime y de la arquitectura.
Precisión y calidad
La pérdida no es igual para todos los modelos ni tareas. Clasificación sencilla, generación creativa y extracción estructurada pueden reaccionar de forma diferente. Compara respuestas con un conjunto representativo y revisa errores que importen al negocio, no solo una cifra media.
Cuantización durante entrenamiento o después
Algunos métodos consideran la precisión durante el entrenamiento; otros se aplican después utilizando datos de calibración. La elección afecta al tamaño, al runtime compatible y a la posibilidad de volver a la versión original. Conserva los pesos de referencia y documenta la transformación.
Memoria, contexto y concurrencia
Que los pesos quepan no significa que todo el proceso quepa. El contexto, las activaciones y la caché de atención consumen memoria adicional. Con varias peticiones simultáneas, la reserva crece y puede provocar intercambio u offloading a CPU, con más latencia.
Rendimiento real
Mide tiempo hasta el primer token, tokens por segundo, memoria utilizada y errores bajo concurrencia. Un formato pequeño puede iniciar rápido y generar lentamente si el runtime no aprovecha el hardware. La cuantización tampoco corrige un modelo inadecuado ni garantiza respuestas más exactas.
Cuándo probarla
Es razonable cuando la memoria es el límite o cuando el coste de inferencia debe reducirse. Prueba primero con preguntas, idiomas y longitudes representativas. Si el modelo se ejecuta en una plataforma propia, planifica almacenamiento, actualizaciones y recuperación junto con la selección de precisión.
Formatos y compatibilidad
La cuantización puede afectar pesos, activaciones o ambos, y los formatos no son intercambiables entre todos los runtimes. Comprueba que el modelo transformado puede cargarse en la biblioteca y el hardware elegidos. Guarda el modelo original para comparar resultados y volver atrás.
Evaluar con casos difíciles
Incluye textos largos, idiomas que utilice el servicio, números, código y respuestas estructuradas. Compara exactitud, formato, tendencia a omitir información y latencia. Un promedio favorable puede ocultar una degradación precisamente en los casos más importantes.
Memoria frente a calidad
Reducir bits puede permitir ejecutar un modelo que antes no cabía, pero parte de la memoria seguirá destinada a contexto y cachés. Si se fuerza offloading a CPU, el consumo de VRAM baja mientras aumenta el movimiento de datos y puede empeorar la experiencia.
Plan de cambio
Publica el modelo cuantizado como una versión separada, mide durante una fase controlada y define qué señal obliga a volver al modelo anterior. Documenta pesos, método, calibración, runtime y hardware. La cuantización es una herramienta de capacidad, no una garantía de mayor inteligencia ni de menor coste en todos los escenarios.
La calidad depende de la tarea
Comprueba extracción, clasificación, generación y uso de herramientas por separado. Una reducción que parece aceptable en texto libre puede alterar números o formatos estructurados. Establece casos de regresión antes de publicar el modelo transformado.
Operar varias variantes
Conserva la versión original, la cuantizada y sus metadatos. Registra qué variante atiende cada solicitud y qué memoria utiliza. Así puedes comparar una regresión sin perder la capacidad de volver al modelo anterior.
La reducción de memoria puede facilitar el despliegue, pero no elimina el coste de almacenamiento, monitorización y actualización.
Coste de aceptar una pérdida
La menor memoria puede permitir más concurrencia, pero una respuesta menos precisa puede generar más revisiones o reintentos. Valora ese coste junto con el ahorro de hardware y energía.
Publicar de forma controlada
Utiliza una versión separada, compara casos de regresión y conserva los pesos originales. Si cambia el runtime, repite las pruebas: la compatibilidad puede variar entre implementaciones.
La decisión debe registrar método, precisión, runtime y conjunto de evaluación. Sin esos datos no se puede explicar una variación de calidad.
La reducción de memoria es una opción de despliegue, no una garantía sobre el modelo.
Publicar con una referencia
Conserva los pesos originales y un conjunto de casos de regresión. Compara idiomas, números, código, respuestas estructuradas y textos largos. La reducción de memoria puede permitir ejecutar el modelo, pero una pérdida de calidad puede aumentar revisiones y reintentos.
Registra método, precisión, calibración, runtime y hardware. Sin esos datos no es posible explicar una variación posterior.
Publica primero una variante controlada y define qué degradación obliga a volver a los pesos originales. La memoria es solo una de las restricciones del sistema.
Comprueba la respuesta en tareas relevantes y conserva una referencia sin cuantizar. El cambio debe poder medirse y revertirse.
Los pesos más pequeños no eliminan la necesidad de observar memoria, latencia y errores.
Prueba la versión transformada con la carga normal y con un pico. El menor tamaño no sustituye a la medición de calidad.