Kas ir zināšanu destilācija?
Zināšanu destilācija ir modeļu kompresijas tehnika, kurā liels, spēcīgs modelis (skolotājs) apmāca mazāku, efektīvāku modeli (skolēnu). Skolēna modelis mācās atdarināt skolotāja izvadi, iegūstot zināšanas, kas ietvertas skolotāja prognozēs — ne tikai pareizo atbildi, bet arī varbūtību sadalījumu pa visām iespējamajām atbildēm. Rezultātā skolēns sasniedz veiktspēju, kas tuvojas skolotājam, ar daudz mazāku modeļa izmēru.
Destilācijas metodes
Izvades destilācija apmāca skolēnu ar skolotāja mīkstajām izvadēm (soft labels), kas satur vairāk informācijas nekā cietās etiķetes. Pazīmju destilācija pārnes skolotāja starpslāņu reprezentācijas. Attiecību destilācija pārnes paraugstarpā attiecības, ko skolotājs ir iemācījies. Pašdestilācija izmanto vienu un to pašu modeļu arhitektūru, bet ar dažādiem palaisgadījumiem vai apmācības posmiem.
Praktiskie ieguvumi
Destilācija ļauj izvietot spēcīgus AI modeļus resursu ierobežotās vidēs — mobilajās ierīcēs, IoT sensoros, reāllaika sistēmās. Tas samazina inferrences izmaksas, latenci un enerģijas patēriņu. Uzņēmumiem tas nozīmē spēju piedāvāt AI funkcionalitāti bez dārgiem GPU klasteriem, izmantojot mazākus modeļus, kas darbojas uz standarta aparatūras.