Qu'est-ce que le fine-tuning ?
Le fine-tuning est le processus de réentraînement d'un modèle IA pré-entraîné sur un jeu de données plus petit et spécialisé. L'objectif est d'adapter un modèle fondation à un domaine spécifique (par ex. droit, médecine, finance) ou une tâche (par ex. classification, extraction de données, génération de rapports).
Techniques de fine-tuning
Fine-tuning complet — réentraînement de tous les paramètres du modèle (coûteux, nécessite GPU). LoRA/QLoRA — adaptation de faible rang, entraînement d'un petit sous-ensemble de paramètres (10 à 100x moins cher). Instruction tuning — entraînement sur des paires instruction-réponse. RLHF — apprentissage par retour humain.
Quand fine-tuning, quand RAG ?
Fine-tuning : quand vous voulez modifier le style, le format ou la spécialisation du modèle. RAG : quand vous avez besoin de données actuelles (documents changeants). En entreprise, les deux approches sont généralement combinées : modèle fine-tuné + RAG depuis la base de connaissances de l'entreprise.