¿O que é o aprendizaxe por transferencia?
O aprendizaxe por transferencia é un paradigma do aprendizaxe automático no que o coñecemento dun contexto (modelo preentrenado) se transfire a un novo contexto relacionado. En lugar de entrenar un modelo desde cero, os pesos preentrenados úsanse como punto de partida para a nova tarefa. Isto permite un aprendizaxe efectivo con significativamente menos datos específicos da tarefa.
Variantes e métodos
Os principais enfoques inclúen extracción de características (o modelo preentrenado como extractor de características, só se entrena un novo clasificador), axuste fino (todas ou algunhas capas do modelo base se adaptan), axuste fino eficiente en parámetros (PEFT) como LoRA, Prefix Tuning (só se modifican pequenos conxuntos de parámetros) e aprendizaxe baseado en prompts (In-Context Learning sen axuste de pesos).
Valor empresarial
O aprendizaxe por transferencia revoluciona a implementación práctica de IA: en lugar de custosos datos de entrenamento a gran escala, as empresas poden crear modelos de alta calidade con pequenos conxuntos de datos específicos do dominio (centos a miles de exemplos). Isto reduce os custos de entrenamento entre un 90 e un 99% e fai posible a IA para casos de uso que antes parecían inviables.