Was sind Temperatur und Top-P?
Temperatur und Top-P sind Sampling-Parameter, die das Verhalten großer Sprachmodelle bei der Textgenerierung steuern. Sie beeinflussen, wie zufällig oder deterministisch das Modell das nächste Token auswählt, und ermöglichen damit die Anpassung zwischen Kreativität und Präzision.
Temperatur erklärt
Die Temperatur skaliert die Log-Wahrscheinlichkeiten der nächsten Token. Bei Temperatur 0 wählt das Modell immer das wahrscheinlichste Token (deterministisch). Bei Temperatur 1.0 wird die originale Verteilung verwendet. Bei höheren Werten (1.5–2.0) werden unwahrscheinlichere Token wahrscheinlicher, was zu kreativeren, aber auch fehleranfälligeren Ausgaben führt. Top-P (nucleus sampling) begrenzt die Auswahl auf die kleinste Menge von Token, deren kumulative Wahrscheinlichkeit P übersteigt.
Praktische Empfehlungen
Für Code-Generierung und faktische Aufgaben: niedrige Temperatur (0–0.2). Für kreatives Schreiben: höhere Temperatur (0.7–1.0). Für strukturierte Ausgaben (JSON): Temperatur 0. In Produktionssystemen sollten diese Parameter systematisch durch A/B-Tests optimiert werden, da sie erheblichen Einfluss auf Qualität und Konsistenz haben.