¿Qué es el aprendizaje por transferencia?
El aprendizaje por transferencia es un paradigma del aprendizaje automático en el que el conocimiento de un contexto (modelo preentrenado) se transfiere a un nuevo contexto relacionado. En lugar de entrenar un modelo desde cero, los pesos preentrenados se utilizan como punto de partida para la nueva tarea. Esto permite un aprendizaje efectivo con significativamente menos datos específicos de la tarea.
Variantes y métodos
Los principales enfoques incluyen extracción de características (el modelo preentrenado como extractor de características, solo se entrena un nuevo clasificador), ajuste fino (todas o algunas capas del modelo base se adaptan), ajuste fino eficiente en parámetros (PEFT) como LoRA, Prefix Tuning (solo se modifican pequeños conjuntos de parámetros) y aprendizaje basado en prompts (In-Context Learning sin ajuste de pesos).
Valor empresarial
El aprendizaje por transferencia revoluciona la implementación práctica de IA: en lugar de costosos datos de entrenamiento a gran escala, las empresas pueden crear modelos de alta calidad con pequeños conjuntos de datos específicos del dominio (cientos a miles de ejemplos). Esto reduce los costos de entrenamiento entre un 90 y un 99% y hace posible la IA para casos de uso que antes parecían inviables.