Què és l'aprenentatge per transferència?
L'aprenentatge per transferència és un paradigma de l'aprenentatge automàtic en el qual el coneixement d'un context (model preentrenat) es transmet a un nou context relacionat. En lloc d'entrenar un model des de zero, els pesos preentrenats s'utilitzen com a punt de partida per a la nova tasca. Això permet un aprenentatge efectiu amb significativament menys dades específiques de la tasca.
Variantes i mètodes
Les principals aproximacions inclouen extracció de característiques (el model preentrenat com a extractor de característiques, només s'entrena un nou classificador), ajust fi (totes o algunes capes del model base s'adapten), ajust fi eficient en paràmetres (PEFT) com LoRA, Prefix Tuning (només es modifiquen petits conjunts de paràmetres) i aprenentatge basat en prompts (In-Context Learning sense ajust de pesos).
Valor empresarial
L'aprenentatge per transferència revoluciona la implementació pràctica de l'IA: en lloc de costosos datos d'entrenament a gran escala, les empreses poden crear models de alta qualitat amb petits conjunts de dades específics del domini (centenars a milers d'exemples). Això redueix els costos d'entrenament entre un 90 i un 99% i fa possible l'IA per a casos d'ús que abans semblaven inviables.