Kaj je Fine-tuning?
Fine-tuning je proces ponovnega učenja vnaprej naučenega modela UI na manjši, specializirani podatkovni množici. Cilj je prilagoditev temeljnega modela specifični domeni (npr. pravo, medicina, finance) ali nalogi (npr. klasifikacija, ekstrakcija podatkov, generiranje poročil).
Tehnike fine-tuninga
Popolni fine-tuning — ponovno učenje vseh parametrov modela (drago, zahteva GPU). LoRA/QLoRA — nizkouvrščena adaptacija, učenje majhnega podskupa parametrov (10–100-krat ceneje). Instruction tuning — učenje na parih navodilo-odgovor. RLHF — učenje iz povratnih informacij ljudi.
Kdaj fine-tuning, kdaj RAG?
Fine-tuning: ko želite spremeniti slog, obliko ali specializacijo modela. RAG: ko potrebujete aktualne podatke (dokumenti, ki se spreminjajo). V poslovnem okolju se običajno kombinirata oba: fino nastavljen model + RAG iz baze znanja podjetja.