Qu'est-ce que l'apprentissage par transfert ?
L'apprentissage par transfert est un paradigme de l'apprentissage automatique dans lequel les connaissances d'un contexte (modèle pré-entraîné) sont transférées vers un nouveau contexte connexe. Plutôt que d'entraîner un modèle de zéro, les poids pré-entraînés sont utilisés comme point de départ pour la nouvelle tâche. Cela permet un apprentissage efficace avec beaucoup moins de données spécifiques à la tâche.
Variantes et méthodes
Les principales approches comprennent l'extraction de caractéristiques (modèle pré-entraîné comme extracteur de features, seul un nouveau classifieur est entraîné), le fine-tuning (toutes les couches ou certaines du modèle de base sont adaptées), le fine-tuning efficace en paramètres (PEFT) comme LoRA, le Prefix Tuning (seuls de petits ensembles de paramètres sont modifiés) et l'apprentissage basé sur des prompts (In-Context Learning sans ajustement des poids).
Valeur pour les entreprises
L'apprentissage par transfert révolutionne la mise en œuvre pratique de l'IA : au lieu de données d'entraînement à grande échelle coûteuses, les entreprises peuvent créer des modèles de haute qualité avec de petits jeux de données spécifiques au domaine (des centaines à des milliers d'exemples). Cela réduit les coûts d'entraînement de 90 à 99% et permet l'IA pour des cas d'usage qui semblaient auparavant irréalisables.