Was sollte bei KI-Agenten protokolliert werden?

Ein KI-Agent liest morgens neue Lieferantenanfragen aus einem Postfach und legt passende Vorgänge im CRM an. Später fehlt ein Vorgang. Jetzt muss sich klären lassen: Welche Anfrage hat der Agent verarbeitet, welche Aktion ausgeführt und wo ist der Ablauf abgebrochen?

Eine sinnvolle KI-Agent-Protokollierung hält deshalb vor allem vier Dinge fest: Ereignis, Aktion, Ergebnis und Fehler. Sie soll Vorgänge nachvollziehbar machen, keine lückenlose Aufzeichnung jeder Tätigkeit erzeugen.

Diese Informationen gehören ins Protokoll

Ereignis und Zusammenhang

Das Protokoll sollte zeigen, wann ein Vorgang begann und wodurch er ausgelöst wurde. Dazu zählen zum Beispiel:

• Eingang einer E-Mail
• Zugriff auf ein Dokument
• Start oder Abschluss einer Aufgabe
• Aufruf eines Werkzeugs
• Änderung eines Bearbeitungsstatus

Eine Kennung für den Agenten, die Sitzung und den betroffenen Vorgang hilft bei der Zuordnung. Auch die verwendete System- oder Workflow-Version kann für die Fehlersuche wichtig sein.

Ausgeführte Aktion und Ergebnis

Haltet fest, welches Werkzeug der Agent verwendet hat und welche bereinigten Angaben dafür nötig waren. Das kann ein Postfach, ein CRM-Vorgang oder eine gekürzte Vorgangsnummer sein.

Ebenso wichtig ist das Ergebnis: „Vorgang angelegt“, „Zugriff verweigert“ oder „Verarbeitung fehlgeschlagen“. Bei längeren Abläufen kann zusätzlich die Dauer helfen. Die OWASP-Empfehlungen zur Sicherheit von KI-Agenten nennen Entscheidungen, Werkzeugaufrufe, Ergebnisse und Fehler als relevante Protokolldaten.

Fehler, Abweichungen und Freigaben

Protokolliert werden sollten fehlgeschlagene Aufrufe, wiederholte Versuche, verweigerte Berechtigungen und ungewöhnlich viele Aktionen. Bei einer riskanten Aktion können außerdem Risikoklasse, Berechtigungsstatus und die Kennung einer erteilten Freigabe dazugehören.

Ob ein Agent selbstständig handeln darf, legt das Unternehmen über Rechte, Aktionstypen und Risikogrenzen fest. Routineaufgaben können innerhalb dieses Rahmens ohne Einzelfreigabe laufen; sensible oder folgenreiche Aktionen lassen sich an eine menschliche Entscheidung binden.

Datenschutz begrenzt die Protokollierung

Protokolle sollten nur Daten enthalten, die für Sicherheit, Zweck oder Nachweis erforderlich sind. Personenbezogene Daten, Zugangsdaten und vertrauliche Geschäftsinhalte gehören maskiert, gekürzt oder gar nicht hinein. Legt außerdem Aufbewahrungs- und Löschfristen fest. Der Grundsatz der Datenminimierung bietet dafür eine praktische Orientierung.

Für die Nachvollziehbarkeit genügt häufig eine prüfbare Zusammenfassung der ausgeführten Aktion und ihrer Grundlage. Eine vollständige Speicherung aller Modell-Zwischenschritte ist nicht pauschal erforderlich. Nach Artikel 12 des EU AI Act müssen Anbieter bestimmter Hochrisiko-KI-Systeme automatisch erzeugte Protokolle sicherstellen. Daraus folgt keine allgemeine Pflicht, jede Nutzung eines KI-Agenten vollständig aufzuzeichnen.

Was das für Needs bedeutet

Needs ist ein Agent OS für Unternehmen, in dem Menschen und KI-Agenten zusammenarbeiten. Welche Aktionen und Freigaben protokolliert werden, hängt von der jeweiligen Konfiguration und dem Risiko der Aufgabe ab.

So entsteht ein prüfbarer Arbeitsnachweis, ohne aus jeder KI-Nutzung eine unnötige Vollüberwachung zu machen.