Kako temperatura vpliva na izhode UI?
Temperatura je hiperparameter, ki skalira logite v porazdelitvi verjetnosti naslednjega žetona. Visoka temperatura: porazdelitev je sploščena — model pogosteje izbere manj verjetne žetone, kar povzroči raznolikejše, ustvarjalnejše izhode. Nizka temperatura: porazdelitev je ostrejša — model je skoraj determinističen.
Top-P (jedrno vzorčenje)
Top-P je alternativna tehnika vzorčenja, ki dinamično določi velikost niza vzorčenja. Namesto fiksnega K žetonov (top-K) top-P izbere minimalni niz žetonov, katerih kumulativna verjetnost preseže P.
Praktičen vodnik
Ustvarjalna vsebina: temperatura 0,8–1,2, top-P 0,9. Dejanska analiza: temperatura 0,1–0,3. Kodiranje: temperatura 0–0,2. Možganska nevihta: temperatura 1,0–1,5.