Co je temperatura LLM?
Temperatura je hyperparameter, ktory ovlada nahodnost vystupov jazykoveho modelu. Pri generovani kazdeho tokenu model produkuje distribuciu pravdepodobnosti nad vsetkymi mozinymi nasledujucimi tokenmi. Temperatura tuto distribuciu modifikuje – nizka hodnota (napr. 0.1) ju zostri (model preferuje pravdepodobnejsie tokeny), vysoka hodnota (napr. 1.5) ju spenalizuje (model je kreativnejsi, ale menej konzistentny).
Teplota 0 (ak je k dispozicii) je deterministicka – vzdy vybera token s najvyssou pravdepodobnostou.
Top-P (nucleus sampling)
Top-P (tiez nucleus sampling) je alternativna metoda kontroly nahodnosti. Namiesto modifikacie distribúcie Top-P obmedzuje mnozinu tokenov, z ktorych sa nahodne vybbera: vybira sa najmensia mnozina tokenov, ktore spolocne tvoria pravdepodobnost P (napr. 0.9 = 90 percent).
Prakticky efekt je podobny teplote, ale Top-P sa adaptivne prisposobuje distribuciám – ak je model istejsi, uzsia mnozina tokenov tvorí 90 percent; ak je model neistejsi, sirosia mnozina sa pouzije.
Odporucane nastavenia
Pre faktické odpovede (kode, analyzy): temperatura 0.1-0.3, Top-P 0.9. Pre kreativne pisanie: temperatura 0.7-1.0, Top-P 0.95. Nie je odporucane menit oboje sucasne – vacsina praktikov meni len teplotu a ponechava Top-P na 1.0, alebo naopak. Experimentovanie s konkretnym use casom je nevyhnutne.