Cos'è il transfer learning?
Il transfer learning è un paradigma del machine learning in cui le conoscenze di un contesto (modello pre-addestrato) vengono trasferite a un nuovo contesto correlato. Invece di addestrare un modello da zero, i pesi pre-addestrati vengono utilizzati come punto di partenza per il nuovo compito. Ciò consente un apprendimento efficace con significativamente meno dati specifici del compito.
Varianti e metodi
I principali approcci includono l'estrazione di feature (modello pre-addestrato come estrattore di feature, viene addestrato solo un nuovo classificatore), il fine-tuning (tutti o alcuni strati del modello base vengono adattati), il fine-tuning efficiente in parametri (PEFT) come LoRA, il Prefix Tuning (vengono modificati solo piccoli insiemi di parametri) e l'apprendimento basato su prompt (In-Context Learning senza aggiustamento dei pesi).
Valore aziendale
Il transfer learning rivoluziona l'implementazione pratica dell'IA: invece di costosi dati di addestramento su larga scala, le aziende possono creare modelli di alta qualità con piccoli dataset specifici del dominio (da centinaia a migliaia di esempi). Questo riduce i costi di addestramento del 90–99% e rende possibile l'IA per casi d'uso che prima sembravano impraticabili.