Mudeli destilleerimise mõistmine
Teadmiste destilleerimine on mudeli kompressiooni tehnika, kus väiksem ja efektiivsem mudel ("õpilane") treenitakse suurema ja täpsema mudeli ("õpetaja") pehmetel väljundtõenäosustel, vahepealsetel esitlustel või muudel teadmistel. Destilleerimise tulemuseks on palju väiksem mudel, mis lähendab suurema mudeli jõudlust murdosaga arvutuslikest nõudmistest.
Destilleerimisvõtted
Vastusel põhinev teadmiste destilleerimine treenib õpilast jäljendama õpetaja väljundjaotusi. Tunnusepõhine destilleerimine tugineb õpetaja vahepealsete aktivatsioonide jäljendamisele. Suhtepõhine destilleerimine keskendub õpetaja treenimise näidete vaheliste suhete tabamisele.
Ettevõtte rakendused
Destilleerimine võimaldab suurte tehisintellekti mudelite kasutamist ressursi piirangutega seadmetes. Serv-juurutused ja rakendused, mis nõuavad madalat latentsust, saavad kasu destilleeritud mudelitest.