Fehim tat-Temperatura u Top-P
It-temperatura u top-P huma parametri ta' sampling li jikkontrollaw kemm l-output ta' mudell tal-lingwa huwa prevedibbli jew kreattiv. Dawn il-parametri jimmanipulaw id-distribuzzjoni tal-probabilità fuq it-tokens possibbli li jmiss, li jiddeterminaw jekk il-mudell jagħżilx dejjem il-kliem l-aktar probabbli jew jesplora alternattivi inqas mistennija.
It-temperatura tiskala l-logits (punteġġi mhux normalizzati) qabel softmax. Temperatura ta' 0 (jew qrib ta' 0) tagħmel l-output kważi deterministiku — il-mudell dejjem jagħżel it-token bl-ogħla probabilità. Temperatura ogħla (eż. 1.0-2.0) iċċattja d-distribuzzjoni, li tagħmel tokens inqas probabbli aktar li jiġu magħżula.
Top-P (Nucleus Sampling)
Top-P (magħruf ukoll bħala nucleus sampling) jillimita l-għażla tat-tokens għall-iżgħar sett li l-probabilitajiet kumulattivi tagħhom jaqbżu l-limitu P. Bi top-P ta' 0.9, il-mudell jikkunsidra biss it-tokens li flimkien jirrappreżentaw 90% tal-probabilità. Dan jadatta awtomatikament id-daqs tal-kandidati — f'kuntesti ċari jagħżel minn ftit tokens, f'kuntesti ambigwi minn ħafna.
Gwida Prattika għall-Intrapriżi
Għal applikazzjonijiet tal-intrapriża, l-għażla xierqa tiddependi fuq il-każ ta' użu. Temperatura baxxa (0-0.3) għal kompiti fejn il-preċiżjoni hija kritika: estrazzjoni ta' data, tweġibiet fattwali, klassifikazzjoni. Temperatura medja (0.3-0.7) għal bilanċ bejn il-konsistenza u n-naturalezza: chatbots, sommarizzazzjoni, traduzzjoni. Temperatura għolja (0.7-1.2) għal kreattività: brainstorming, ġenerazzjoni ta' kontenut, esplorazzjoni ta' ideat. Tipikament, agġusta parametru wieħed biss (temperatura JEW top-P, mhux it-tnejn). Ittestja b'mod sistematiku fuq il-każijiet ta' użu tiegħek biex issib il-valuri ottimali.