Què és la Destil·lació del Coneixement?
La destil·lació del coneixement és una tècnica de compressió de models en la qual un model compacte "estudiant" s'entrena per replicar els resultats d'un model "professor" potent però intensiu en recursos. En lloc d'entrenar-se directament amb dades brutes, el model estudiant aprèn dels "objectius suaus" del model professor — les distribucions de probabilitat sobre totes les possibles sortides, no només l'etiqueta més probable. Aquestes senyals d'entrenament més riques permeten als models petits superar amb escreix el rendiment de l'entrenament directe.
Per Què és Important
Els models d'IA de frontera amb milers de milions de paràmetres són massa costosos i lents per al desplegament en producció. La destil·lació produeix models petits que assolien el 70–90 % del rendiment a una fracció del cost computacional. Els models destil·lats poden desplegar-se en dispositius edge, aplicacions mòbils i serveis sensibles a la latència.
Aplicacions Empresarials
Les empreses fan servir la destil·lació per crear models específics de tasques optimitzats per als seus casos d'ús particulars. En lloc de pagar per un model de frontera general per a cada trucada, s'entrena un cop un model destil·lat i s'opera de forma independent. És especialment valuós per a aplicacions d'alt volum: classificació de documents, anàlisi de sentiments, reconeixement d'intencions.