Čo je temperatúra LLM?
Temperatúra je hyperparameter, ktorý ovláda náhodnosť výstupov jazykového modelu. Pri generovaní každého tokenu model produkuje distribúciu pravdepodobnosti nad všetkými možnými nasledujúcimi tokenmi. Temperatúra túto distribúciu modifikuje – nízka hodnota (napr. 0.1) ju zostrí (model preferuje pravdepodobnejšie tokeny), vysoká hodnota (napr. 1.5) ju sploští (model je kreatívnejší, ale menej konzistentný).
Teplota 0 (ak je k dispozícii) je deterministická – vždy vyberá token s najvyššou pravdepodobnosťou.
Top-P (nucleus sampling)
Top-P (tiež nucleus sampling) je alternatívna metóda kontroly náhodnosti. Namiesto modifikácie distribúcie Top-P obmedzuje množinu tokenov, z ktorých sa náhodne vyberá: vyberá sa najmenšia množina tokenov, ktoré spoločne tvoria pravdepodobnosť P (napr. 0.9 = 90 percent).
Praktický efekt je podobný teplote, ale Top-P sa adaptívne prispôsobuje distribúciám – ak je model istejší, užšia množina tokenov tvorí 90 percent; ak je model neistejší, širšia množina sa použije.
Odporúčané nastavenia
Pre faktické odpovede (kód, analýzy): temperatúra 0.1-0.3, Top-P 0.9. Pre kreatívne písanie: temperatúra 0.7-1.0, Top-P 0.95. Nie je odporúčané meniť oboje súčasne – väčšina praktikov mení len teplotu a ponecháva Top-P na 1.0, alebo naopak. Experimentovanie s konkrétnym use casom je nevyhnutné.