Kako temperatura utječe na AI izlaze?
Temperatura je hiperparametar koji skalira logite (sirove ocjene) u distribuciji vjerojatnosti sljedećeg tokena. Visoka temperatura (npr. 1.5): distribucija je spljoštena — model češće odabire manje vjerojatne tokene, rezultirajući raznolikijim, kreativnijim ali potencijalno manje koherentnim izlazima. Niska temperatura (npr. 0.2): distribucija je oštrija — model je gotovo deterministički, preferirajući najvjerojatnije tokene.
Top-P (nucleus sampling)
Top-P je alternativna tehnika uzorkovanja koja umjesto temperature dinamički određuje velicinu setova uzorkovanja. Umjesto fiksnog K tokena (top-K), top-P bira minimalni skup tokena čija kumulativna vjerojatnost premašuje P. Top-P=0.9 znači: uzorkuj iz minimalnog skupa koji pokriva 90% vjerojatnosti.
Praktičan vodič
Kreativni sadržaj: temperatura 0.8-1.2, top-P 0.9. Faktička analiza: temperatura 0.1-0.3, top-P 0.7. Kodiranje: temperatura 0-0.2. Brainstorming: temperatura 1.0-1.5. Kombiniranje temperature i top-P može dati nepredvidive rezultate — odaberite jedan pristup i optimize.