Was ist Transfer-Lernen?
Transfer-Lernen ist ein Paradigma des maschinellen Lernens, bei dem Wissen aus einem Kontext (vortrainiertes Modell) auf einen neuen, verwandten Kontext übertragen wird. Anstatt ein Modell von Grund auf zu trainieren, werden vortrainierte Gewichte als Ausgangspunkt für die neue Aufgabe verwendet. Dies ermöglicht effektives Lernen mit deutlich weniger aufgabenspezifischen Daten.
Varianten und Methoden
Hauptansätze umfassen Feature Extraction (vortrainiertes Modell als Feature-Extraktor, nur neuer Klassifikator wird trainiert), Fine-Tuning (alle oder einige Schichten des Basismodells werden angepasst), Parameter-efficient Fine-Tuning (PEFT) wie LoRA, Prefix Tuning (nur kleine Parametersätze werden modifiziert) und Prompt-basiertes Lernen (In-Context Learning ohne Gewichtsanpassung).
Unternehmensnutzen
Transfer-Lernen revolutioniert die praktische KI-Implementierung: Statt teurer Großtrainingsdaten können Unternehmen mit kleinen domänenspezifischen Datensätzen (hunderte bis tausende Beispiele) hochwertige Modelle erstellen. Dies reduziert Trainingskosten um 90–99% und ermöglicht KI für Anwendungsfälle, die früher undurchführbar schienen.