Что такое fine-tuning?
Fine-tuning (дообучение) — это процесс дообучения предварительно обученной модели AI на меньшем, специализированном наборе данных. Цель — адаптация базовой модели под конкретный домен (например, право, медицину, финансы) или задачу (например, классификацию, извлечение данных, генерацию отчётов).
Техники fine-tuning
Full fine-tuning — дообучение всех параметров модели (затратно, требует GPU). LoRA/QLoRA — низкоранговая адаптация, дообучение малого подмножества параметров (в 10-100 раз дешевле). Instruction tuning — обучение на парах инструкция-ответ. RLHF — обучение на обратной связи от людей (модель учится предпочтениям).
Когда fine-tuning, когда RAG?
Fine-tuning: когда нужно изменить стиль, формат или специализацию модели (например, всегда отвечать по-польски, в формате JSON). RAG: когда нужны актуальные данные (документы меняются). В enterprise чаще всего сочетают оба: fine-tuned модель + RAG из корпоративной базы знаний.