¿O que é a cuantización?
A cuantización é unha técnica de optimización na que os pesos e activacións dunha rede neuronal se convierten de números de punto flotante de alta precisión (p. ex., float32) a formatos de menor precisión (p. ex., int8, int4). Isto reduce os requisitos de memoria e acelera significativamente a inferencia.
Métodos de cuantización
A cuantización post-entrenamento (PTQ) aplica a cuantización despois do entrenamento e é fácil de implementar, pero pode producir perdas de calidade. O entrenamento consciente da cuantización (QAT) ten en conta os efectos da cuantización durante o entrenamento e normalmente logra mellores resultados. Enfoques modernos como GPTQ e AWQ permiten a cuantización agresiva de 4 bits de grandes modelos de linguaxe con uma perda mínima de calidade.
Relevancia práctica
A cuantización é crucial para o despregamento eficiente de grandes modelos de IA en hardware con recursos limitados. Un LLM cuantizado pode executarse con 4× menos memoria, o que permite o despregamento en hardware de consumidor, dispositivos edge e instancias cloud máis económicas.