Čo je fine-tuning?
Fine-tuning je proces pretrénovania predtrénovaného AI modelu na menšej, špecializovanej dátovej sade. Cieľom je prispôsobenie základného modelu konkrétnej doméne (napr. právo, medicína, financie) alebo úlohe (napr. klasifikácia, extrakcia dát, generovanie reportov).
Techniky fine-tuningu
Plný fine-tuning — pretrénovanie všetkých parametrov modelu (drahé, vyžaduje GPU). LoRA/QLoRA — nízkorangová adaptácia, trénovanie malej podmnožiny parametrov (10–100× lacnejšie). Instruction tuning — trénovanie na pároch inštrukcia-odpoveď. RLHF — učenie z ľudskej spätnej väzby.
Kedy fine-tuning, kedy RAG?
Fine-tuning: keď chcete zmeniť štýl, formát alebo špecializáciu modelu. RAG: keď potrebujete aktuálne dáta (meniace sa dokumenty). V podniku sa obvykle kombinujú oba prístupy: fine-tunovaný model + RAG z firemnej znalostnej bázy.