Was ist KI-Observability?
KI-Observability ist die Fähigkeit, das Verhalten von KI-Systemen in Produktivumgebungen zu überwachen, zu verstehen und zu diagnostizieren. Sie umfasst das Tracking von Performance-Metriken, API-Kosten, Antwortqualität, Latenz, Modell-Drift-Erkennung und Anomalien.
Drei Säulen
Wie die DevOps-Observability ruht auch die KI-Observability auf drei Säulen: Metriken (Latenz, Durchsatz, Kosten pro Anfrage, Token-Verbrauch), Logs (vollständiger Query-Pfad vom Input bis zum Output, einschließlich Prompts und Antworten) und Traces (Verknüpfung von Anfragen mit spezifischen Agenten, Modellen und Aufrufketten).
Warum ist das kritisch?
Ohne Observability wissen Sie nicht: ob das Modell angefangen hat, schlechtere Antworten zu generieren (Drift), wie viel KI tatsächlich monatlich kostet, welche Anfragen am meisten Zeit benötigen oder ob das System anfällig für Angriffe ist.