KI-Agent Nachvollziehbarkeit: Welche Spuren ein Agent hinterlassen sollte

Eine Eingangsrechnung weicht vom Bestellwert ab. Am nächsten Tag fragt ein Mitarbeiter: Wer hat die Abweichung bemerkt? Welche Daten wurden verglichen? Warum wurde die Rechnung trotzdem zur Zahlung vorgelegt?

Bei einem nachvollziehbaren KI-Agenten stehen die Antworten in einer prüfbaren Laufakte. Sie zeigt den Auftrag, die verwendeten Quellen, Werkzeuge, Entscheidungen, Ergebnisse und Regeln. Ergänzt werden die Einträge durch Zeitpunkte, Versionen und eine eindeutige Lauf-ID.

Welche Spuren sollte ein KI-Agent hinterlassen?

Ein brauchbares Protokoll beschreibt den Weg vom Auftrag bis zum Ergebnis:

• Auftrag: Welche Aufgabe sollte der Agent erledigen?
• Quellen: Welche Dokumente, Datenbanken oder Webseiten wurden verwendet?
• Werkzeuge: Welche Systeme hat der Agent aufgerufen?
• Entscheidungen: Welche Kriterien und Geschäftsregeln waren ausschlaggebend?
• Aktionen: Was wurde geändert, angelegt oder weitergegeben?
• Ergebnis: Wurde die Aufgabe abgeschlossen, pausiert oder abgebrochen?
• Fehler: Wo fehlten Daten oder trat ein Problem auf?
• Berechtigungen: Was durfte der Agent in diesem Lauf tun?

OpenTelemetry beschreibt für Anwendungen mit generativer KI unter anderem Traces, Metrics und Events. Für die Praxis zählt vor allem, dass relevante Schritte zusammengehören und später wiedergefunden werden können.

Entscheidungen verständlich dokumentieren

Ein Protokoll muss keine vollständige innere Gedankenkette des Modells speichern. Verlässlicher sind die verwendeten Kriterien, die maßgeblichen Belege und die angewandte Regel.

Ein passender Eintrag zur Rechnung könnte lauten: Der Agent erhielt Rechnung und Bestellnummer, verglich Betrag, Positionen und Zahlungsziel mit den Einkaufsdaten und wandte die Regel „Abweichung bis fünf Prozent“ an. Er setzte den Prüfstatus auf passend und legte die Rechnung zur Zahlung vor.

Ebenso wichtig ist die Grenze seiner Befugnis. Der Agent durfte Daten lesen und einen Prüfstatus setzen. Einen Zahlungsauftrag durfte er nicht auslösen. Bei einer größeren Abweichung hätte die konfigurierte Regel eine menschliche Prüfung verlangt.

Berechtigung und Freigabe getrennt betrachten

Ein Agent kann erlaubte Routineaktionen selbstständig ausführen. Eine zusätzliche Freigabe kann für ausgewählte Risiken vorgesehen werden, etwa bei einer hohen Zahlung oder einer externen Veröffentlichung. Das ist eine risikobasierte Produkt- und Prozessentscheidung, kein allgemeines Merkmal jedes KI-Agenten.

Für Hochrisiko-KI verpflichtet Artikel 12 der Verordnung (EU) 2024/1689 dazu, die automatische Aufzeichnung von Ereignissen über die Lebensdauer des Systems technisch zu ermöglichen. Auch außerhalb solcher Pflichten sollten Unternehmen Aufbewahrung, Zugriffsschutz und Datenschutz festlegen. Das NIST AI RMF Playbook nennt außerdem klare Zuständigkeiten, Dokumentation, Tests, Überwachung, Änderungsmanagement und Prozesse für Vorfälle.

Was Needs dazu beiträgt

Needs beschreibt sich als Agent OS, in dem Menschen festlegen, welche Aktionen umgesetzt werden. Welche Nachweise ein Unternehmen braucht, hängt vom jeweiligen Ablauf, Risiko und der Konfiguration ab.

Wenn ihr prüfen möchtet, wie sich solche Nachweise in eure Arbeitsabläufe einordnen lassen, sprecht mit Needs.