Čo je transfer learning?
Transfer learning je paradigma, ktorá umožňuje AI modelom využívať znalosti nadobudnuté pri trénovaní na jednej úlohe alebo datasete pri riešení inej, súvisiacej úlohy. Namiesto trénovania každého modelu od nuly (from scratch), transfer learning začína zo základov predošlého trénovania.
Pre LLM je transfer learning fundamentálny: pretrénovanie na veľkých textových korpusoch a následne fine-tuning na špecializované úlohy je štandardný workflow.
Typy transfer learningu
Feature extraction: využíva sa reprezentácia z predtrénovaného modelu (napr. BERT embeddingy) ako vstupy pre nový klasifikátor. Model sa "zmrazuje" – predtrénované vrstvy sa nemenia, len posledná vrstva sa trénuje.
Fine-tuning: predtrénované váhy sú štartovacím bodom a celý model (alebo jeho časť) sa dotrénuje na nových dátach. Parameter-efficient fine-tuning (PEFT) techniky ako LoRA, QLoRA a Adapters minimalizujú počet trénovacích parametrov.
Prečo je transfer learning taký úspešný?
Predtrénované modely nadobúdajú reprezentácie – jazykové znalosti, vizuálne vzory, faktické znalosti – ktoré sú prenositeľné na nové úlohy. Fine-tuning na malom datasete je oveľa rýchlejší a častokrát presnejší ako trénovanie od nuly na rovnako malom datasete. Tento princíp je základom celého moderného AI priemyslu: "pretrain big, fine-tune small."