Cuantizar un modelo consiste en representar parte de sus valores con menor precisión. Puede reducir el tamaño y las necesidades de memoria, a cambio de introducir compromisos que dependen del método, del modelo y de la tarea.
Una etiqueta corta no cuenta toda la historia
En catálogos de modelos encontrarás referencias como Q4 o Q8. Orientan sobre la precisión utilizada, pero no constituyen una escala universal de calidad. Sufijos y métodos distintos pueden tratar los valores de manera diferente; consulta la ficha del archivo concreto.
Hugging Face documenta varios métodos de cuantización y sus requisitos de hardware. No todos son intercambiables entre motores. Antes de descargar, comprueba formato, soporte del programa y procedencia del modelo.
Lo que sí puedes comparar
- Encaje: si la variante se carga sin agotar la memoria disponible.
- Utilidad: si conserva los datos y el formato que necesitas en tus ejemplos.
- Tiempo: cuánto tarda bajo condiciones parecidas.
- Estabilidad: si mantiene el funcionamiento al aumentar moderadamente la entrada.
No atribuyas una diferencia solo a la cuantización si también has cambiado versión del modelo, longitud de contexto o instrucciones. La comparación deja de aislar el efecto que querías estudiar.
Un ensayo sencillo con dos variantes
Utiliza el mismo modelo base, cuando sea posible, con dos variantes compatibles. Prepara un texto con nombres y cantidades ficticias, y pide extraerlos en un formato fijo. Repite con una pregunta que no tenga respuesta en el texto para comprobar si el modelo reconoce la ausencia.
Evalúa los resultados sin mirar primero qué variante los produjo. Guarda fallos concretos: un número cambiado es más informativo que una impresión general de que «parece menos inteligente».
Elige para tu uso, no para ganar una tabla
Una variante pequeña puede ser suficiente para organizar notas y quedarse corta en otra tarea. Si necesitas precisión, verifica las salidas igualmente; usar más bits no convierte al modelo en una fuente infalible. La mejor elección es la que cabe, responde de forma usable y supera tus comprobaciones con el menor coste de recursos razonable.