Kas ir MI novērojamība?
MI novērojamība ir spēja uzraudzīt, saprast un diagnosticēt MI sistēmu uzvedību ražošanas vidēs. Tā ietver veiktspējas rādītāju, API izmaksu, atbilžu kvalitātes, latentuma, modeļa novirzes un anomāliju izsekošanu.
Trīs pīlāri
Tāpat kā DevOps novērojamība, arī MI novērojamība balstās uz trim pīlāriem: metrikas (latentums, caurlaidspēja, izmaksas uz pieprasījumu, žetonu patēriņš), žurnāli (pilns pieprasījuma ceļš no ievades līdz izvadei, iekļaujot uzvednes un atbildes) un pēdas (pieprasījumu saistīšana ar konkrētiem aģentiem, modeļiem un izsaukumu ķēdēm).
Kāpēc tas ir kritiski?
Bez novērojamības jūs nezināt: vai modelis sāka ģenerēt sliktākas atbildes (novirze), cik MI patiesībā izmaksā mēnesī, kuri pieprasījumi aizņem visvairāk laika vai vai sistēma ir neaizsargāta pret uzbrukumiem.