O que é a Destilação de Conhecimento?
A destilação de conhecimento é uma técnica de compressão de modelos onde um modelo menor (estudante) é treinado para imitar o comportamento de um modelo maior e mais poderoso (professor). Em vez de apenas treinar o estudante em rótulos absolutos, o estudante aprende a corresponder às distribuições de probabilidade de saída do professor — as previsões suaves — que contêm informação valiosa sobre como o professor generaliza para além dos dados de treino. O resultado é um modelo menor que retém muito do desempenho do professor a uma fração do custo computacional.
Porque é Importante
Modelos grandes de IA são caros para executar em inferência — os custos de API acumulam-se rapidamente em escala, e a latência pode ser proibitiva para aplicações em tempo real. A destilação torna prático implantar capacidades de alto nível de IA em dispositivos de borda, dentro de orçamentos de inferência restritos, ou em casos de uso de alta frequência onde chamar um modelo grande seria economicamente insustentável.
Aplicações Práticas
A destilação é amplamente usada para criar modelos específicos de tarefa compactos a partir de LLMs de propósito geral — um modelo destilado treinado em dados de suporte ao cliente pode igualar o desempenho do professor nesse domínio usando 10x menos parâmetros. Para implantação on-device, a destilação combinada com quantização pode reduzir os requisitos do modelo em 50x ou mais, tornando possível a inferência de IA em smartphones e dispositivos IoT.