Was gehört zu einer KI-Agent-Governance?

Ein KI-Agent prüft morgens neue Rechnungen, gleicht sie mit Bestellungen ab und trägt Standardfälle ins Buchhaltungssystem ein. Dann kommt eine Rückfrage: Wer hat ihm diese Aufgabe gegeben? Welche Daten durfte er sehen? Und wie lässt sich prüfen, was er tatsächlich getan hat?

Eine KI-Agent Governance beantwortet genau diese Fragen. Sie legt fest, wer für einen KI-Agenten verantwortlich ist, welche Rechte er erhält, welche Aktionen protokolliert werden und wann eine Prüfung oder Freigabe nötig ist.

Fünf Bausteine für einen schlanken Ordnungsrahmen

1. Eindeutige Zuständigkeiten

Für jeden KI-Agenten braucht es einen fachlich Verantwortlichen. Zusätzlich muss klar sein, wer den technischen Betrieb betreut und wer bei Datenschutz- oder Sicherheitsfragen entscheidet. In kleineren Unternehmen können diese Aufgaben bei denselben Personen liegen.

Das NIST AI Risk Management Framework empfiehlt außerdem, eingesetzte KI-Systeme zu erfassen und regelmäßig zu überprüfen.

Diese organisatorische Verantwortung ist nicht mit rechtlicher Haftung gleichzusetzen. Wer im Einzelfall rechtlich haftet, hängt vom Einsatz, dem entstandenen Schaden und den geltenden Vorschriften ab.

2. Rechte passend zur Aufgabe

Ein KI-Agent sollte nur die Daten und Werkzeuge erhalten, die er für seinen Arbeitsauftrag benötigt. Dabei macht es einen großen Unterschied, ob er Informationen lesen, verändern, versenden oder löschen darf.

Die bloße technische Möglichkeit ist noch keine Erlaubnis. Der Grundsatz der geringsten notwendigen Rechte gehört auch zu den Empfehlungen von OWASP für KI-Agenten.

3. Nachvollziehbare Aktionen

Ein brauchbares Protokoll hält fest, welcher KI-Agent wann welches Werkzeug für welchen Zweck verwendet hat und was dabei herauskam. Falls eine Freigabe erforderlich war, gehören auch Entscheidung und Verantwortlicher dazu.

Sensible Inhalte sollten nicht unnötig im Protokoll stehen. Ziel ist Nachvollziehbarkeit, keine zweite ungeschützte Datensammlung.

4. Prüfungen nach Risiko

Vor dem Einsatz prüft das Unternehmen den Zweck, die Datenzugriffe, mögliche Schäden und den vorgesehenen Abbruchweg. Erlaubte Routineaktionen kann der KI-Agent anschließend innerhalb seiner Grenzen selbst ausführen.

Für Zahlungen, Löschungen oder rechtlich bindende Erklärungen kann eine ausdrückliche Freigabe sinnvoll oder erforderlich sein. Welche Kontrolle angemessen ist, richtet sich nach dem konkreten Risiko. Auch der EU AI Act folgt einem risikobasierten Ansatz.

5. Änderungen kontrolliert einführen

Wesentliche Änderungen an Modell, Datenquellen, Werkzeugen oder Regeln sollten eine erneute Risikoprüfung auslösen. Dafür braucht es kein schwerfälliges Verfahren. Meist genügt eine kurze dokumentierte Entscheidung zu Zweck, betroffenen Rechten, Risiken und Testergebnis.

Was zentral gilt – und was der Fachbereich entscheidet

Unternehmensweit gelten Regeln zu Datenschutz, verbotenen Zugriffen, Mindestprotokollen, Vorfallmeldungen und Tests. Der Fachbereich bestimmt dagegen den Arbeitszweck, fachliche Prüfkriterien und akzeptable Ergebnisse.

Bei einem Rechnungsagenten legt die Buchhaltung beispielsweise fest, welche Pflichtangaben geprüft werden. Zentral wird geregelt, dass er keine Personalakten lesen und keine Zahlung ohne die vorgesehene Berechtigung auslösen darf.

Diese Aufteilung gilt unabhängig davon, ob ein oder mehrere KI-Agenten eingesetzt werden. Ihre Anzahl ist eine Architekturfrage; Governance regelt Rechte, Verantwortung und Kontrolle.

Needs beschreibt sich als Agent OS für Unternehmen, in dem Menschen und KI-Agenten zusammenarbeiten und Firmenwissen gemeinsam nutzen. Wie Rechte, Freigaben und Kontrollen für euren Einsatz gestaltet werden, sollte anhand der konkreten Aufgaben und Risiken festgelegt werden.

Euren praktischen Einstieg findet ihr auf needs.expert.