Що таке файн-тюнінг?
Файн-тюнінг (доопрацювання) - це процес доопрацювання попередньо опрацьованої моделі AI на меншому, спеціалізованому наборі даних. Мета полягає в адаптації базової моделі до конкретної галузі (наприклад, право, медицина, фінанси) або завдання (наприклад, класифікація, видобування даних, генерація звітів).
Техніки файн-тюнінгу
Full fine-tuning — доопрацювання всіх параметрів моделі (витратне, вимагає GPU). LoRA/QLoRA — низькорангова адаптація, доопрацювання малого підмножини параметрів (в 10-100 разів дешевше). Instruction tuning — тренування на парах інструкція-відповідь. RLHF — навчання з людського фідбеку (модель вчиться переваг).
Коли файн-тюнінг, коли RAG?
Файн-тюнінг: коли ви хочете змінити стиль, формат або спеціалізацію моделі (наприклад, завжди відповідати польською, у форматі JSON). RAG: коли вам потрібні актуальні дані (документи змінюються). У підприємствах найчастіше поєднують обидва: файн-тюнована модель + RAG з фірмової бази знань ESKOM AI.