Înțelegerea temperaturii
Temperatura controlează aleatorismul (randomness) ieșirii LLM. Temperatura scăzută (0-0,3) selectează tokene mai probabile, producând ieșiri mai deterministe și mai focalizate. Temperatura medie (0,5-0,7) echilibrează ieșirile semnificative și variate. Temperatura ridicată (0,8-1+) duce la ieșiri mai neașteptate, creative, dar posibil inconsistente.
Înțelegerea top-p (nucleus sampling)
Top-p (aka nucleus sampling) este o metodă alternativă de control al aleatorismului LLM. În loc să scaleze întreaga distribuție după temperatură, top-p include cumulative P(%) din tokenii cei mai probabili. Valoarea top-p scăzută — eșantionare mai focalizată, valoarea top-p ridicată — eșantionare mai diversă.
Recomandări enterprise
Pentru sarcinile de preluare și analiză a datelor faptice, utilizați temperaturi scăzute (0-0,3). Pentru generarea conținutului și brainstorming, temperatura medie (0,6-0,8). Evitați riscul de "hallucinare" la temperaturi ridicate pentru sarcinile unde precizia factice este necesară.