Температура
Параметърът на температурата мащабира разпределенията на вероятностите на токена на модела. При ниска температура (0.0-0.3) разпределенията стават остри - моделът почти винаги избира най-вероятния следващ токен, произвеждайки по-детерминиран и предвидим изход. При по-висока температура (0.7-1.0) разпределенията стават по-широки, увеличавайки разнообразието и креативността, но и случайността.
Top-P (Нуклеарно вземане на проби)
Top-P вземането на проби (още нуклеарно вземане на проби) взема проби от малкия набор от най-вероятни токени, натрупващи до праг на комулативна вероятност p. С top-p=0.9 вземане на проби само от токени, отчитащи 90% от разпределението на вероятностите, гарантира, че токените с ниска вероятност няма да бъдат използвани, дори при висока температура.
Практически насоки
Започнете с температура=0.7 и top-p=0.9 за общи случаи на употреба. По-ниската температура (0.0-0.3) е по-добра за код, SQL и фактически задачи. По-висока температура е по-добра за творческо генериране. Не коригирайте и двете едновременно - трудно е да се разберат комбинираните ефекти.