Vissza a szójegyzékhez Technológia

LLM hőmérséklet és top-p (sampling paraméterek)

Az LLM-kimenetek véletlenszerűségét szabályozó kulcsparaméterek, amelyek befolyásolják a kreativitást, a sokféleséget és a következetességet az AI által generált szövegekben.

A hőmérséklet megértése

A hőmérséklet az LLM-kimenet véletlenszerűségének (randomness) szabályozása. Alacsony hőmérséklet (0-0,3) inkább a valószínű tokeneket választja, determinisztikusabb, fókuszált kimeneteket produkálva. A közepes hőmérséklet (0,5-0,7) az értelmes és változatos kimenetek egyensúlya. Magas hőmérséklet (0,8-1+) a váratlanabb, kreatívabb, de esetleg következetlenebb kimenetekhez vezet.

A top-p (magszintézis) megértése

A top-p (más nevén nucleus sampling) egy alternatív módszer az LLM véletlenszerűségének szabályozásához. Ahelyett, hogy a hőmérséklet szerint skálázná a teljes eloszlást, a top-p az általános valószínűség kumulatív P(%) részét tartalmazza a legvalószínűbb tokenek közül. Alacsony top-p értékkel szűkebb, fókuszáltabb mintavételezés, magas top-p-vel változatosabb mintavételezés érhető el.

Vállalati ajánlások

A tényszerű adatbeolvasási és elemzési feladatokhoz tartson alacsony hőmérsékletet (0-0,3) a konzisztencia biztosítása érdekében. A tartalom generáláshoz és ötletbörzihez közepes hőmérsékleten (0,6-0,8) érdemes dolgozni. Kerülje a magas hőmérsékleten előforduló "hallucináció" kockázatát az olyan feladatoknál, ahol tényszerű pontosság szükséges.