Què són temperatura i Top-P?
Temperatura i Top-P són paràmetres de mostreig que controlen el comportament dels grans models de llenguatge durant la generació de text. Influeixen en quina és la selecció del següent token per part del model, permetent així ajustar entre creativitat i precisió.
Temperatura explicada
La temperatura escala les log-probabilitats dels següents tokens. Amb temperatura 0, el model sempre selecciona el token més probable (determinista). Amb temperatura 1.0, s'utilitza la distribució original. Amb valors més alts (1.5–2.0), els tokens menys probables es tornen més probables, el que porta a sortides més creatives però també més propenses a errors. Top-P (nucleus sampling) limita la selecció al conjunt més petit de tokens la probabilitat acumulada dels quals supera P.
Recomanacions pràctiques
Per a la generació de codi i tasques fàctiques: temperatura baixa (0–0.2). Per a l'escriptura creativa: temperatura més alta (0.7–1.0). Per a sortides estructurades (JSON): temperatura 0. En sistemes de producció, aquests paràmetres han de ser optimitzats sistemàticament mitjançant proves A/B, ja que tenen una influència significativa en la qualitat i la consistència.