KI-Agent Monitoring: Qualität und Fehler im Betrieb erkennen

Ein KI-Agent bearbeitet Serviceanfragen, durchsucht Dokumente oder legt Aufgaben an. Nach einigen Tagen kommen die ersten Zweifel: Arbeitet er zuverlässig oder müssen Mitarbeiter seine Ergebnisse regelmäßig korrigieren?

KI-Agent Monitoring macht solche Probleme sichtbar, ohne jede Aktion einzeln zu prüfen. Dafür verbindet ihr Kennzahlen zur Qualität, Fehlern, Dauer und Nutzung mit Stichproben und detaillierten Ablaufspuren für auffällige Fälle.

Welche Werte sollte ein Unternehmen überwachen?

Ein technischer Status wie „erfolgreich abgeschlossen“ sagt wenig über den tatsächlichen Nutzen aus. Entscheidend sind fünf Bereiche:

• Ergebnisqualität: Ist die Aufgabe vollständig erledigt? Sind verwendete Quellen passend? Ist das Ergebnis fachlich brauchbar?
• Fehler und Abbrüche: Wie oft scheitert ein Vorgang, wiederholt sich unnötig oder bleibt wegen fehlender Angaben stehen?
• Ungewöhnliche Aktionen: Nutzt der KI-Agent plötzlich andere Werkzeuge, führt auffällig viele Suchen aus oder verlässt den vorgesehenen Ablauf?
• Verbrauch und Kosten: Welche Tokenmengen und Modellaufrufe fallen an? Gibt es kostenpflichtige Werkzeugaktionen? Die tatsächlichen Kosten ergeben sich aus den jeweiligen Preisen.
• Dauer und Wartezeit: Wie lange dauert der gesamte Vorgang und wie lange wartet ein Mitarbeiter auf ein nutzbares Ergebnis?

Mögliche Prüfkriterien wie Quellenbindung, Relevanz, Werkzeuggenauigkeit und erfolgreiche Aufgabenerledigung beschreibt etwa Microsoft in seiner Übersicht zur Beobachtung generativer KI.

Geschwindigkeit braucht mehr als eine Kennzahl

Die End-to-End-Dauer misst die Zeit vom Auftrag bis zum fertigen Ergebnis. Sie zeigt, wie lange ein Arbeitsvorgang insgesamt dauert.

Daneben kann die Zeit bis zum ersten sichtbaren Ergebnis relevant sein. Eine entsprechend instrumentierte Ablaufspur kann außerdem zeigen, wie viel Zeit auf Modellaufrufe, Datenabrufe, Werkzeugausführungen, Wiederholungen oder Wartephasen entfällt. OpenTelemetry entwickelt dafür einheitliche Messkonventionen.

So wird erkennbar, ob der KI-Agent langsam arbeitet oder auf Daten, ein externes System beziehungsweise eine tatsächlich erforderliche Entscheidung wartet.

Qualitätsänderungen auf ihre Ursache zurückführen

Wenn die Qualität sinkt, braucht ihr einen belastbaren Vorher-nachher-Vergleich. Speichert deshalb zu jedem Lauf die relevanten Versions- und Umgebungsdaten:

• verwendetes Modell und Modellversion
• Version der Anweisung oder Agentenkonfiguration
• einbezogene Kontextquellen
• eingesetzte Werkzeuge und Prozessversion
• Umgebung und gewählte Prozessvariante

Damit lässt sich prüfen, ob Probleme nach einem Modellwechsel, einer neuen Datenquelle, einem veränderten Werkzeug oder einer Anpassung des Ablaufs begonnen haben. Detaillierte Ablaufspuren verbinden den Auftrag mit einzelnen Modell- und Werkzeugaufrufen sowie deren Ergebnissen. Langfuse zeigt den Aufbau solcher Spuren.

Monitoring ersetzt keine fachliche Prüfung

Kennzahlen erkennen Abweichungen, beweisen aber nicht automatisch, dass ein Ergebnis richtig ist. Definiert deshalb fachliche Prüfkriterien und kontrolliert regelmäßig Stichproben. Automatische Bewertungen können diese Prüfung ergänzen.

Vollständige Eingaben und Werkzeugparameter erleichtern die Fehlersuche, können aber vertrauliche Daten enthalten. Protokolliert daher nur, was für Betrieb und Analyse erforderlich ist, und begrenzt den Zugriff.

Needs ist ein Agent OS mit einem gemeinsamen KI-Agenten-Team für Unternehmen. Ausgeführte Aktionen und Freigaben werden dort mit ihrem Ergebnis protokolliert.

Wenn ihr KI-Agenten nachvollziehbar in eure Arbeitsabläufe einbinden wollt, erfahrt ihr mehr auf needs.expert.