A hőmérséklet megértése
A hőmérséklet az LLM-kimenet véletlenszerűségének (randomness) szabályozása. Alacsony hőmérséklet (0-0,3) inkább a valószínű tokeneket választja, determinisztikusabb, fókuszált kimeneteket produkálva. A közepes hőmérséklet (0,5-0,7) az értelmes és változatos kimenetek egyensúlya. Magas hőmérséklet (0,8-1+) a váratlanabb, kreatívabb, de esetleg következetlenebb kimenetekhez vezet.
A top-p (magszintézis) megértése
A top-p (más nevén nucleus sampling) egy alternatív módszer az LLM véletlenszerűségének szabályozásához. Ahelyett, hogy a hőmérséklet szerint skálázná a teljes eloszlást, a top-p az általános valószínűség kumulatív P(%) részét tartalmazza a legvalószínűbb tokenek közül. Alacsony top-p értékkel szűkebb, fókuszáltabb mintavételezés, magas top-p-vel változatosabb mintavételezés érhető el.
Vállalati ajánlások
A tényszerű adatbeolvasási és elemzési feladatokhoz tartson alacsony hőmérsékletet (0-0,3) a konzisztencia biztosítása érdekében. A tartalom generáláshoz és ötletbörzihez közepes hőmérsékleten (0,6-0,8) érdemes dolgozni. Kerülje a magas hőmérsékleten előforduló "hallucináció" kockázatát az olyan feladatoknál, ahol tényszerű pontosság szükséges.