Czym są temperatura i Top-P?
Temperatura i Top-P (nucleus sampling) to dwa kluczowe parametry kontrolujące, jak model AI wybiera kolejne słowa podczas generowania odpowiedzi. Temperatura skaluje rozkład prawdopodobieństwa tokenów: niska wartość (0.0-0.3) sprawia, że model wybiera najbardziej prawdopodobne tokeny (deterministyczne, precyzyjne odpowiedzi), a wysoka (0.7-1.5) zwiększa losowość (kreatywne, zróżnicowane odpowiedzi).
Jak działają w praktyce?
Top-P ogranicza wybór do najmniejszego zbioru tokenów, których łączne prawdopodobieństwo przekracza zadany próg (np. 0.9 = rozważ tokeny stanowiące 90% masy prawdopodobieństwa). W odróżnieniu od temperatury, Top-P dynamicznie dostosowuje liczbę rozważanych tokenów — przy pewnym kontekście będzie ich mniej, przy niejednoznacznym więcej. Oba parametry mogą być stosowane łącznie, choć zaleca się modyfikowanie jednego na raz.
Dobór parametrów w systemach korporacyjnych
W zastosowaniach biznesowych dobór temperatury jest krytyczny: ekstrakcja danych z dokumentów wymaga niskiej temperatury (0.0-0.1) dla powtarzalności, generowanie treści marketingowych — średniej (0.5-0.7) dla kreatywności, a brainstorming — wyższej (0.8-1.0). Wieloagentowe systemy często konfigurują różne temperatury per agent, dopasowując je do specjalizacji — analityk finansowy nisko, copywriter wysoko.