¿O que é a Destilación do Coñecemento?
A destilación do coñecemento é unha técnica de compresión de modelos na que un modelo compacto "alumno" se adestra para replicar os resultados dun modelo "profesor" potente mais intensivo en recursos. En lugar de adestrarse directamente con datos brutos, o modelo alumno aprende dos "obxectivos brandos" do modelo profesor — as distribucións de probabilidade sobre todas as posibles saídas, non só a etiqueta máis probable. Estas señales de adestramento máis ricas permiten aos modelos pequenos superar con creces o rendemento do adestramento directo.
Por Que é Importante
Os modelos de IA de fronteira con milleiros de millóns de parámetros son demasiado custosos e lentos para o despregamento en produción. A destilación produce modelos pequenos que alcanzan o 70–90 % do rendemento a unha fracción do custo computacional. Os modelos destilados poden despregarse en dispositivos edge, aplicacións móbeis e servizos sensibles á latencia.
Aplicacións Empresariais
As empresas usan a destilación para crear modelos específicos de tarefas optimizados para os seus casos de uso particulares. En lugar de pagar por un modelo de fronteira xeral para cada chamada, adestrase unha vez un modelo destilado e opérase de forma independente. É especialmente valioso para aplicacións de alto volume: clasificación de documentos, análise de sentimento, recoñecemento de intencións.