Τι είναι η Παρατηρησιμότητα ΤΝ;
Η παρατηρησιμότητα ΤΝ είναι η ικανότητα παρακολούθησης, κατανόησης και διάγνωσης της συμπεριφοράς συστημάτων ΤΝ σε παραγωγικά περιβάλλοντα. Περιλαμβάνει καταγραφή μετρικών απόδοσης, κόστους API, ποιότητας αποκρίσεων, καθυστέρησης, ανίχνευση εκτροπής μοντέλου και ανωμαλιών.
Τρεις πυλώνες
Όπως η παρατηρησιμότητα DevOps, η παρατηρησιμότητα ΤΝ βασίζεται σε τρεις πυλώνες: μετρικές (καθυστέρηση, διεκπεραίωση, κόστος ανά ερώτημα, χρήση tokens), αρχεία καταγραφής (πλήρης διαδρομή ερωτήματος από είσοδο σε έξοδο, συμπεριλαμβανομένων prompts και αποκρίσεων) και ίχνη (σύνδεση ερωτημάτων με συγκεκριμένους πράκτορες, μοντέλα και αλυσίδες κλήσεων).
Γιατί είναι κρίσιμη;
Χωρίς παρατηρησιμότητα, δεν γνωρίζετε: αν το μοντέλο άρχισε να δημιουργεί χειρότερες αποκρίσεις (εκτροπή), πόσο κοστίζει πραγματικά η ΤΝ μηνιαίως, ποια ερωτήματα απαιτούν τον περισσότερο χρόνο ή αν το σύστημα είναι ευάλωτο σε επιθέσεις.