Que sont la température et Top-P ?
La température et Top-P sont des paramètres d'échantillonnage qui contrôlent le comportement des grands modèles de langage lors de la génération de texte. Ils influencent le degré d'aléatoire ou de déterminisme dans la sélection du prochain token par le modèle, permettant ainsi d'ajuster entre créativité et précision.
La température expliquée
La température met à l'échelle les log-probabilités des prochains tokens. Avec une température de 0, le modèle sélectionne toujours le token le plus probable (déterministe). Avec une température de 1.0, la distribution originale est utilisée. Avec des valeurs plus élevées (1.5–2.0), les tokens moins probables deviennent plus probables, ce qui entraîne des sorties plus créatives mais aussi plus sujettes aux erreurs. Top-P (nucleus sampling) limite la sélection au plus petit ensemble de tokens dont la probabilité cumulée dépasse P.
Recommandations pratiques
Pour la génération de code et les tâches factuelles : température basse (0–0.2). Pour l'écriture créative : température plus élevée (0.7–1.0). Pour les sorties structurées (JSON) : température 0. Dans les systèmes de production, ces paramètres doivent être optimisés systématiquement par des tests A/B, car ils ont une influence significative sur la qualité et la cohérence.