KI-Agent Fehler: Was passiert und wie schützen Sie Ihr Unternehmen?

Ein KI-Agent soll eine Kundenanfrage zusammenfassen und eine Antwort vorbereiten. Er versteht die Nachricht falsch. Bleibt der Text intern und wird nicht automatisch weiterverarbeitet, kann ein Mitarbeiter den Fehler in der Regel vor einer Außenwirkung korrigieren. Wird die Antwort dagegen sofort versendet, entsteht eine fehlerhafte Kommunikation mit möglichen Folgen.

Was bei einem KI-Agent Fehler passiert, hängt deshalb vor allem von der Aufgabe, den verfügbaren Rechten und dem weiteren Ablauf ab. Ein Entwurf, eine rückgängig machbare Änderung und eine Löschung haben nicht dasselbe Risiko.

Korrigierbare Entwürfe

Der Agent erstellt eine E-Mail, eine Zusammenfassung oder ein Angebot. Ein falscher Entwurf lässt sich meist leichter korrigieren, sofern er nicht automatisch versendet oder anderweitig verarbeitet wird.

Auch ein Entwurf ist allerdings nicht automatisch harmlos. Er kann vertrauliche Informationen enthalten, an der falschen Stelle gespeichert oder von einem nachgelagerten Prozess übernommen worden sein. Entscheidend ist daher, was nach seiner Erstellung geschieht.

Reversible Aktionen

Der Agent verschiebt einen Termin oder aktualisiert einen internen Datensatz. Die Änderung lässt sich zurücksetzen, sofern das System den vorherigen Zustand kennt und keine weiteren Prozesse darauf aufgebaut haben.

Solche Fehler verursachen häufig zusätzlichen Prüf- und Arbeitsaufwand. Klare Protokolle, Wiederherstellungsmöglichkeiten und Begrenzungen für ungewöhnlich viele Änderungen helfen, den Schaden klein zu halten.

Folgenreiche Änderungen

Der Agent versendet eine Absage, verändert Zugriffsrechte, löscht Daten oder exportiert vertrauliche Informationen. Bei extern versendeten Nachrichten, Datenexporten oder Löschungen kann eine vollständige Rücknahme schwierig oder unmöglich sein.

Ein einzelner Fehler kann dann Kundenbeziehungen, Datenschutz oder den laufenden Betrieb beeinträchtigen. Für sensible Aktionen sollten Unternehmen die Berechtigungen eng setzen. Eine gezielte menschliche Freigabe kann zusätzlich sinnvoll sein, muss aber nicht jede Aktion betreffen.

Warum sich Fehler fortsetzen

KI-Agenten bearbeiten Aufgaben oft in mehreren Schritten, nutzen Werkzeuge und übernehmen Ergebnisse aus vorherigen Schritten. Eine falsche Annahme am Anfang kann dadurch weitere Entscheidungen beeinflussen. Anthropic empfiehlt unter anderem klare Abbruchbedingungen und Tests in abgeschirmten Umgebungen.

Auch manipulierte Eingaben oder zu weit gefasste Rechte können Folgen verschärfen. OWASP warnt vor übermäßigen Funktionen, Berechtigungen und zu viel Selbstständigkeit.

Welche Schutzmaßnahmen tragen?

• Nur die Werkzeuge und Daten freigeben, die der Agent für seine Aufgabe benötigt.
• Entwürfe erstellen lassen, externe Kommunikation aber gezielt prüfen.
• Reversible Aktionen protokollieren und wiederherstellbar machen.
• Grenzen für ungewöhnlich viele, große oder sensible Änderungen festlegen.
• Fehler, Entscheidungen und ausgeführte Aktionen nachvollziehbar dokumentieren.
• Einen Notfallweg für Reaktion, Rückgängigmachung und Abschaltung definieren.
• Den Ablauf vor und während des Betriebs testen.

Der NIST AI Risk Management Framework empfiehlt dafür fortlaufendes Risikomanagement, Tests, Dokumentation, Reaktion und Wiederherstellung. Der Rahmen ist freiwillig und keine allgemeine gesetzliche Pflicht.

Wenn ihr prüfen möchtet, welche Aufgaben ein KI-Agent in eurem Unternehmen sicher übernehmen kann, erfahrt ihr mehr auf needs.expert.