Kaj je destilacija znanja?
Destilacija znanja je tehnika stiskanja modelov, pri kateri se manjši »model učenec« usposobi za posnemanje vedenja večjega »modela učitelja«. Učenec se uči iz mehkih napovedi učitelja.
Proces destilacije
Učitelj generira mehke oznake za vsak primer v učnem nizu. Učenec se usposablja na kombinaciji trdih in mehkih oznak z uporabo temperature T za glajenje porazdelitev.
Poslovne prednosti
Destilacija zagotavlja: 10–100-krat manjše modele z <5 % degradacijo kakovosti, hitrejšo inferenco in nižje stroške uvajanja. Ključno orodje za optimizacijo stroškov sistemov UI.