Какво е fine-tuning?
Fine-tuning е процесът на преобучаване на предварително обучен AI модел на по-малък, специализиран набор от данни. Целта е адаптиране на базов модел към конкретен домейн (напр. право, медицина, финанси) или задача (напр. класификация, извличане на данни, генериране на отчети).
Техники за fine-tuning
Пълен fine-tuning — преобучаване на всички параметри на модела (скъпо, изисква GPU). LoRA/QLoRA — адаптация с нисък ранг, обучаване на малко подмножество параметри (10–100 пъти по-евтино). Instruction tuning — обучение на двойки инструкция-отговор. RLHF — обучение от човешка обратна връзка.
Кога fine-tuning, кога RAG?
Fine-tuning: когато искате да промените стила, формата или специализацията на модела. RAG: когато имате нужда от актуални данни (променящи се документи). В корпоративната практика обикновено се комбинират и двата подхода: fine-tuned модел + RAG от фирмената база знания.