Was ist Fine-tuning?
Fine-tuning ist der Prozess des Nachtrainierens eines vortrainierten KI-Modells auf einem kleineren, spezialisierten Datensatz. Das Ziel ist die Anpassung eines Foundation Models an eine bestimmte Domäne (z. B. Recht, Medizin, Finanzen) oder Aufgabe (z. B. Klassifizierung, Datenextraktion, Berichtsgenerierung).
Fine-tuning-Techniken
Vollständiges Fine-tuning — Nachtraining aller Modellparameter (teuer, erfordert GPU). LoRA/QLoRA — Low-Rank-Adaptation, Training einer kleinen Parameteruntermenge (10–100x günstiger). Instruction Tuning — Training auf Anweisungs-Antwort-Paaren. RLHF — Lernen aus menschlichem Feedback.
Wann Fine-tuning, wann RAG?
Fine-tuning: wenn Sie Stil, Format oder Spezialisierung des Modells ändern möchten. RAG: wenn Sie aktuelle Daten benötigen (sich ändernde Dokumente). Im Unternehmenseinsatz werden meist beide Ansätze kombiniert: feinabgestimmtes Modell + RAG aus der Unternehmenswissensbasis.