Що таке температура та Top-P?
Температура та Top-P (нуклеус-семплінг) - два ключових параметри, що контролюють, як модель AI вибирає наступні слова під час генерації відповідей. Температура масштабує розподіл імовірностей токенів: низька значення (0,0-0,3) змушує модель вибирати найбільш імовірні токени (детерміністичні, точні відповіді), а висока (0,7-1,5) збільшує випадковість (креативні, різноманітні відповіді).
Як вони працюють на практиці?
Top-P обмежує вибір до найменшого набору токенів, чиє спільне імовірність перевищує заданий поріг (наприклад, 0,9 = розглядають токени, що становлять 90% маси імовірності). На відміну від температури, Top-P динамічно коригує кількість розглянутих токенів - при певному контексті їх буде менше, при невизначеному - більше. Обидва параметри можна застосовувати спільно, хоча рекомендується модифікувати лише один за раз.
Вибір параметрів у корпоративних системах
У бізнесових застосуваннях вибір температури є критичним: екстракція даних з документів вимагає низької температури (0,0-0,1) для повторюваності, генерація маркетингового контенту - середньої (0,5-0,7) для креативності, а брейнстормінг - вищої (0,8-1,0). Багатоагентні системи часто конфігурують різні температури для кожного агента, підлаштовуючи їх під спеціалізацію - фінансовий аналітик низько, копірайтер високо.