¿O que son temperatura e Top-P?
Temperatura e Top-P son parámetros de muestreo que controlan o comportamento dos grandes modelos de linguaxe durante a xeración de texto. Inflúen en qué tan aleatoria ou determinista é a selección do seguinte token por parte do modelo, permitindo así axustar entre creatividade e precisión.
Temperatura explicada
A temperatura escala as log-probabilidades dos seguintes tokens. Con temperatura 0, o modelo sempre selecciona o token máis probable (determinista). Con temperatura 1.0, úsase a distribución orixinal. Con valores máis altos (1.5–2.0), os tokens menos probables vólvense máis probables, o que leva a saídas máis creativas pero tamén máis propensas a erros. Top-P (nucleus sampling) limita a selección ao conxunto máis pequeno de tokens cuxa probabilidade acumulada supera P.
Recomendacións prácticas
Para xeración de código e tarefas fácticas: temperatura baixa (0–0.2). Para escritura creativa: temperatura máis alta (0.7–1.0). Para saídas estruturadas (JSON): temperatura 0. En sistemas de produción, estes parámetros deben optimizarse sistematicamente mediante probas A/B, xa que teñen unha influencia significativa na calidade e a consistencia.