Cosa sono temperatura e Top-P?
Temperatura e Top-P sono parametri di campionamento che controllano il comportamento dei grandi modelli linguistici durante la generazione del testo. Influenzano quanto sia casuale o deterministico il modo in cui il modello seleziona il prossimo token, consentendo così di regolare tra creatività e precisione.
La temperatura spiegata
La temperatura scala le log-probabilità dei prossimi token. Con temperatura 0, il modello seleziona sempre il token più probabile (deterministico). Con temperatura 1.0, viene utilizzata la distribuzione originale. Con valori più alti (1.5–2.0), i token meno probabili diventano più probabili, portando a output più creativi ma anche più soggetti a errori. Top-P (nucleus sampling) limita la selezione al più piccolo insieme di token la cui probabilità cumulativa supera P.
Raccomandazioni pratiche
Per generazione di codice e compiti fattuali: temperatura bassa (0–0.2). Per la scrittura creativa: temperatura più alta (0.7–1.0). Per output strutturati (JSON): temperatura 0. Nei sistemi di produzione, questi parametri dovrebbero essere ottimizzati sistematicamente tramite test A/B, poiché hanno un'influenza significativa su qualità e coerenza.