Co je teplota?
Teplota je parameter ridici nahodnost vystupu jazykovoho modelu. Techincky scaluje logits (surove body) pred softmax normalizaci. Nizka teplota (blizko 0) zpusobuje, ze model je deterministicky a vybira vysoce pravdepodobna slova konzistentne -- vhodne pro faktualni dotazy, kodovani a strukturovane ukoly kde je spravna odpoved. Vysoka teplota (blizko 1 nebo vice) zvetuje rozdeleni, umoznujice mene pravdepodobna slova byt vybrany -- vhodne pro tvorive psani, brainstorming a roznorodou generaci.
Co je Top-P vzorkovani?
Top-P (take nazyvano jaderne vzorkovani) je alternativni nebo doplnujici vzorkovaci strategie. Namisto vyberu z vsech tokennu dle probability, Top-P vzorkovani dynamicky vybira nejmensi soubor tokennu, jejichz kumulativni pravdepodobnost prevysuje prahovou hodnotu P. Napr. Top-P=0.9 vybira tokeny z nejhornich 90 % pravdepodobnosti hmotnosti. Toto orizne nepravdepodobne tokeny adaptivne na zaklade distribuce, zachovavajice kreativitu pri prevenci uplne nahodne generaci.
Podnikova doporuceni
Pro podnikove AI aplikace: pouzivejte nizkou teplotu (0.0-0.3) pro klasifikaci, extrakci dat, kodovani a ukoly se spravnou odpovedi. Pouzivejte stredni teplotu (0.3-0.7) pro sumarizaci, preklad a obecni odpovedi na dotazy. Pouzivejte vyssi teplotu (0.7-1.0) pro kreativni psani, brainstorming a generovani roznorodych moznosti. Experimentujte pro vase specificky pripad pouziti -- optimalni nastaveni se lisi pres modely a domeny.