Brauchen KI-Agenten einen Not-Aus?

Ein KI-Agent prüft eine Lieferantenrechnung. Er liest den Betrag aus, gleicht die Bestellnummer ab und bereitet die Zahlung vor. Dann fehlt die IBAN, zwei Systeme nennen unterschiedliche Summen oder derselbe Vorgang taucht zum zweiten Mal auf.

In solchen Fällen braucht ein Unternehmen einen KI-Agent-Not-Aus. Gemeint ist kein einzelner roter Knopf, sondern ein abgestuftes Sicherheitskonzept: Der Agent muss weitere Schritte stoppen, Rechte verlieren, umkehrbare Änderungen zurücknehmen oder den Vorgang an die zuständige Person geben können.

Vier Arten des Eingriffs

Stoppen: Ein Stoppsignal soll den laufenden Auftrag beziehungsweise weitere Schritte beenden. Bereits ausgelöste externe Aktionen können davon unberührt bleiben. Eine schon versendete E-Mail verschwindet nicht aus dem Postfach des Empfängers. Deshalb braucht ein Agent zusätzlich Schritt-, Wiederholungs- und Kostenlimits sowie eine Möglichkeit, seinen Lauf zu unterbrechen. Das OWASP AI Agent Security Cheat Sheet empfiehlt außerdem Überwachung, Protokollierung und Schutz vor Endlosschleifen.

Rechte entziehen: Wenn ein Agent auffällig arbeitet, sollte das Unternehmen seine Möglichkeiten sofort begrenzen können. Ein Agent darf Rechnungen lesen, ohne deshalb Überweisungen ausführen zu dürfen. Rechte sollten eng gefasst und bei jeder Aktion geprüft werden. Neu erteilte Berechtigungen sollten nicht automatisch für bereits laufende Aufträge gelten.

Rückabwicklung: Manche Aktionen lassen sich zurücknehmen, andere nicht. Einen geänderten Datensatz oder einen verschobenen Termin kann ein System möglicherweise wiederherstellen. Eine ausgeführte Überweisung, veröffentlichte Nachricht oder gelöschte Datei ist unter Umständen endgültig. Wo eine Rückabwicklung nicht sicher möglich ist, muss der Schutz vor der Ausführung greifen.

Eskalation: Der Agent hält an und legt den Vorgang einer zuständigen Person vor. Das ist bei konkreten Risiken sinnvoll, aber nicht bei jeder kleinen Unsicherheit. Artikel 14 des EU AI Act enthält Anforderungen an menschliche Aufsicht bei bestimmten Hochrisiko-KI-Systemen. Daraus folgt keine allgemeine Freigabepflicht für jeden KI-Agenten.

Wo ein KI-Agent anhalten sollte

Klare Stopppunkte gehören direkt in den Arbeitsablauf. Ein Agent sollte nicht weiterarbeiten, wenn:

• eine notwendige Pflichtangabe fehlt, etwa die Kontoverbindung;
• maßgebliche Quellen einander widersprechen;
• eine Aktion erhebliche oder schwer umkehrbare Folgen hat, etwa Bezahlen, Löschen, Veröffentlichen oder das Ändern eines Produktivsystems.

Bei nebensächlichen Lücken kann der Agent mit einer klar gekennzeichneten Annahme fortfahren. Entscheidend ist die mögliche Folge: Je größer der Schaden, desto enger müssen Rechte, Grenzen und Eingriffsmöglichkeiten sein.

Einordnung von Needs

Needs beschreibt sich als Agent OS für Unternehmen, in dem Menschen und KI-Agenten zusammenarbeiten. Wer diese Zusammenarbeit im eigenen Unternehmen einordnen möchte, kann sich unter needs.expert über Needs informieren.