Ar ais go dtí an ghluais Teicneolaíocht

Stialladh Eolais (Knowledge Distillation)

Is teicníc é knowledge distillation a oibríonn samhail níos lú (mac léinn) chun samhail níos mó (múinteoir) a aithris, ag aistriú eolais chun samhlaí éifeachtúla a thógáil a bhfuil feidhmíocht cosúil leo i bhformáid níos comhair.

Conas a Oibríonn Distillation

Seachas oiliúint ar lipéid chrua amháin (ceart/mícheart), oibríonn samhail mac léinn chun dáiltí tairisceana bog samhail múinteora a aithris. Tá siad seo 'lipéid bog' níos faisnéiseacha ná lipéid chrua — nochtann siad struchtúr eolais inmheánaigh múinteora, lena n-áirítear cosúlachtaí eatarthu aicmí.

Feidhmchláir

Is é an cur i bhfeidhm is coitianta ná samhlacha LLM a chomhbhrú don imscaradh. Ina áit samhail chostasach táirgeachta, cuirtear ar oiliúint samhail stialladh níos lú i gcoinne aschuir samhail múinteora agus is gnách go gcoimeádann sé 90%+ den fheidhmíocht ar chodán den chostas ríomhaireachta. Tá sé go háirithe luachmhar le haghaidh feidhmchlár imeall agus soghluaistheachta.

Teorainneacha

Tá teorainn le cé mhéad is féidir le samhail níos lú fhoghlaim ó cheann níos mó — murab ionann agus ríomhaireacht, ní féidir le samhail stialladh ábhartachtaí fíor-saolach a thuar nach féidir leis an múinteoir a léiriú ina aschuir féin.