Co je transfer learning?
Transfer learning je paradigma, ktora umoznuje AI modelom vyuzivat znalosti nadobudnuté pri trenovani na jednej ulohe alebo datasete pri riěseni inej, suvisiаcej ulohy. Namiesto trenovania kazdeho modelu od nuly (from scratch), transfer learning zacina zo zakladov predosleho trenovania.
Pre LLM je transfer learning fundamentalny: pretrenovanie na velkych textovych korpusoch a nasledne fine-tuning na specializovane ulohy je standartny workflow.
Typy transfer learningu
Feature extraction: vyuziva sa reprezentacia z predtrenovaneho modelu (napr. BERT embeddingy) ako vstupy pre novy klasifikator. Model sa "nezmrazuje" – predtrénovane vrstvy sa nemenia, len posledna vrstva sa trénuje.
Fine-tuning: predtrenovane vahy sú startovacim bodom a cely model (alebo jeho cast) sa dotrenoval na novych datach. Parameter-efficient fine-tuning (PEFT) techniky ako LoRA, QLoRA a Adapters minimalizuju pocet trenovacich parametrov.
Preco je transfer learning tak uspesny?
Predtrenovane modely nabohdatia reprezentácie – jazykove znalosti, vizualne vzory, faktické znalosti – ktore su prenositelné na nove ulohy. Fine-tuning na malom datasete je oveľa rychlejsi a casokrat presnejsi ako trenovanie od nuly na rovnako malom datasete. Tento princip je zakladom celej moderne AI priemyslu: "pretrain big, fine-tune small."