Что такое температура и Top-P?
Температура и Top-P (nucleus sampling) — два ключевых параметра, контролирующих, как модель AI выбирает следующие слова при генерации ответа. Температура масштабирует распределение вероятностей токенов: низкое значение (0.0-0.3) заставляет модель выбирать наиболее вероятные токены (детерминированные, точные ответы), а высокое (0.7-1.5) увеличивает случайность (творческие, разнообразные ответы).
Как они работают на практике?
Top-P ограничивает выбор наименьшим набором токенов, суммарная вероятность которых превышает заданный порог (например, 0.9 = рассматривать токены, составляющие 90% вероятностной массы). В отличие от температуры, Top-P динамически подстраивает число рассматриваемых токенов — при определённом контексте их будет меньше, при неоднозначном — больше. Оба параметра можно применять вместе, хотя рекомендуется изменять только один за раз.
Подбор параметров в корпоративных системах
В бизнес-применениях подбор температуры критичен: извлечение данных из документов требует низкой температуры (0.0-0.1) для повторяемости, генерация маркетингового контента — средней (0.5-0.7) для креативности, а мозговой штурм — более высокой (0.8-1.0). Мультиагентные системы часто настраивают разные температуры для каждого агента, подстраивая их под специализацию — финансовый аналитик низко, копирайтер высоко.