Wie zuverlässig sind KI-Agenten?

Eine Bestellung kommt per E-Mail an. Der KI-Agent soll Artikel, Mengen, Preise und Lieferadresse prüfen und den Vorgang im Warenwirtschaftssystem anlegen. Bei vollständigen Angaben kann ein Agent in Tests brauchbare Ergebnisse liefern. Entscheidend ist aber, wie er mit fehlenden oder widersprüchlichen Informationen umgeht.

Die Zuverlässigkeit eines KI-Agenten lässt sich deshalb nicht allgemein beurteilen. Sie hängt immer vom konkreten Prozess, den verfügbaren Daten und den Folgen eines Fehlers ab.

Erfolgsquote hängt vom Prozess ab

Klare Aufgaben lassen sich häufig leichter testen als Abläufe mit vielen Ausnahmen. Zusätzliche Arbeitsschritte, Werkzeugaufrufe und Systemänderungen können weitere Fehlerquellen schaffen. Ein Fehler am Anfang kann sich bis zum Ende eines mehrstufigen Ablaufs fortsetzen.

Bei einem Entwurf kann eine geringere Erfolgsquote vertretbar sein, wenn ein Mensch das Ergebnis vor der Nutzung prüft. Bei Zahlungen, Kündigungen oder verbindlichen Datenänderungen sind in der Regel strengere Erfolgs- und Kontrollkriterien erforderlich. Eine gute Durchschnittsquote reicht nicht, wenn einzelne Fehler hohe Kosten oder rechtliche Folgen haben.

So prüfst du die Zuverlässigkeit

Erstelle eine Sammlung realistischer Testfälle:

• vollständige, unvollständige und widersprüchliche Belege
• normale Abläufe und bekannte Sonderfälle
• unterschiedliche Datenformate und Formulierungen
• Fälle, in denen eine notwendige Information fehlt

Führe jeden Fall mehrfach aus. Bewerte nicht nur das Endergebnis, sondern auch Fehlermeldungen, Werkzeugaufrufe, Zwischenzustände und Änderungen in angeschlossenen Systemen. Für kritische Prozessschritte kann ein Test als bestanden gelten, wenn alle vorher festgelegten Muss-Kriterien erfüllt sind. Je nach Aufgabe sind auch gewichtete Bewertungen sinnvoll.

Für die Bestellung sollte festgelegt werden, dass der Agent bei unklaren Angaben keinen Wert ergänzt. Er kann den Vorgang stattdessen markieren, eine Rückfrage stellen oder ihn an einen Mitarbeiter weitergeben.

Der AI RMF Core des NIST beschreibt kontinuierliches Risikomanagement, Tests und Überwachung. Anthropic erläutert wiederholbare Bewertungen für KI-Agenten. Die Hinweise von OpenAI zu Prüfungen und Freigaben zeigen mögliche Kontrollen vor sensiblen Aktionen.

Unsicherheit und Fehlerfolgen einplanen

Eine sicher formulierte Antwort beweist keine Richtigkeit. Aussagekräftiger sind wiederholte Tests, dokumentierte Grenzen und die Überwachung im laufenden Betrieb. Bei Erfolgsquoten helfen Konfidenzintervalle: Sie zeigen, wie genau die Messung einzuordnen ist.

Je größer der mögliche Schaden, desto enger sollten Berechtigungen und Prüfungen ausfallen. Plausibilitätsprüfungen, Protokolle, Rückgängig-Möglichkeiten oder eine Freigabe vor einer einzelnen folgenreichen Aktion können das Risiko begrenzen.

Was das für Needs bedeutet

Needs beschreibt sich als Agent OS, in dem Menschen die Kontrolle behalten. Ob ein Prozess zuverlässig genug ist, prüfst du anhand eigener Testfälle, Erfolgsbedingungen und Fehlerfolgen.

Beginne mit einem klar abgegrenzten Prozess und bewerte ihn wiederholt. Mehr über Needs.