Što je destilacija znanja?
Destilacija znanja je tehnika kompresije modela u kojoj se manji 'model učenik' trenira da imitira ponašanje većeg 'modela učitelja'. Umjesto treniranja samo na hard labelima (točan/netočan), učenik uči iz soft predikcija učitelja — distribucija vjerojatnosti koja nosi bogatu informaciju o srodnosti klasa i nesigurnosti modela.
Proces destilacije
Učitelj generira soft labele (probabilistički izlazi) za svaki primjer u skupu za treniranje. Učenik trenira na kombinaciji hard labela i soft labela učitelja koristeći temperaturu T za izglađivanje distribucija. Rezultat: mali model koji imitira ponašanje učitelja. Alati: Hugging Face, TensorFlow Model Optimization Toolkit.
Poslovne prednosti
Destilacija pruža: modele 10-100x manje s <5% degradacijom kvalitete, bržu inferenciju (latencija, propusnost), smanjene zahtjeve za resurse (idealno za edge AI i SLM primjene), i niže troškove uvođenja. Ključan je alat za optimizaciju troškova AI sustava.