Što je transfer učenje?
Transfer učenje je tehnika u kojoj se model treniran na jednom zadatku (ili velikom skupu podataka) prilagođava za drugi, srodan zadatak uz puno manje podataka i compute-a. Umjesto treniranja od nule, počinjete s predtrenanim modelom koji već 'razumije' jezik, slike ili kod i fino ga podešavate za vaš specifični slučaj.
Zašto je transfer učenje transformativno?
Bez transfera, treniranje LLM-ova zahtijeva tjedne na GPU klasterima i milijune dolara. S transferom, organizacije fine-tuniraju predtrenirane modele (Llama, BERT) na domenske podatke u satima ili danima na jednom GPU-u. Znanje 'transferirano' iz masivnog pretr eniranja zadržava se, samo se prilagođava novoj domeni.
Tipovi transfera
Fine-tuning cijelog modela: ažuriraju se svi parametri — skuplje, ali maksimalna prilagodba. Feature extraction: frozen backbone, trenirani samo novi slojevi — brže, za ograničene podatke. LoRA/adapteri: mali dodani slojevi koji se treniraju dok backbone ostaje frozen — optimalan kompromis. Prompt-tuning: soft prompts koji se treniraju za specifičnu domenu.