Τι είναι Temperature και Top-P;
Temperature και Top-P (nucleus sampling) είναι παράμετροι που ελέγχουν τον τρόπο επιλογής επόμενου token σε LLMs κατά τη δημιουργία κειμένου, επηρεάζοντας ισορροπία μεταξύ δημιουργικότητας και συνέπειας.
Temperature: τιμές 0→1 ελέγχουν τυχαιότητα. Χαμηλή temperature (0.1-0.3) = ντετερμινιστικό, συνεπές, προβλέψιμο. Υψηλή temperature (0.8-1.2) = δημιουργικό, ποικίλο, λιγότερο προβλέψιμο.
Top-P (Nucleus Sampling)
Top-P ορίζει ένα ελάχιστο αθροιστικό ποσοστό πιθανότητας για επιλογή tokens. Top-P=0.9 σημαίνει επιλογή από τα tokens που αθροίζουν 90% πιθανότητας. Παρέχει πιο δυναμικό έλεγχο από temperature — σε κατανομές με καθαρή «νικήτρια» επιλογή, χρησιμοποιεί λίγα tokens· σε αβέβαιες καταστάσεις, περισσότερα.
Πρακτική Χρήση
Εξαγωγή δεδομένων/ταξινόμηση: temperature 0.0-0.2. Δημιουργία τεχνικού κειμένου: 0.3-0.5. Δημιουργικό γράψιμο, brainstorming: 0.7-1.0. Τα περισσότερα παραγωγικά συστήματα χρησιμοποιούν χαμηλή temperature για συνέπεια.