Warum können KI-Agenten falsche Informationen liefern?

Ein KI-Agent soll eine Lieferverzögerung erklären. Im Auftrag steht nur die Bestellnummer. Der aktuelle Hinweis des Lieferanten fehlt, in einer alten Datei steht noch der frühere Termin. Zusätzlich fragt der Agent ein System mit dem falschen Datumsformat ab.

So können verschiedene Fehler zusammenkommen: eine unbelegte Modellantwort, veraltete Daten und eine fehlerhafte Werkzeugabfrage. KI-Agent-Halluzinationen sind dabei nur ein Teil des Problems. Gemeint ist eine überzeugend formulierte, aber vom Modell erfundene oder nicht belegte Information.

Was bedeutet Halluzination bei einem KI-Agenten?

Ein Sprachmodell erzeugt Antworten aus erlernten Mustern. Es greift nicht automatisch auf eine geprüfte Wahrheit zu. Deshalb kann es Namen, Zahlen, Ursachen oder Quellen ergänzen, obwohl die Angaben nicht vorliegen. Das NIST beschreibt dieses Risiko als „Confabulation“.

Nicht jeder falsche Output ist jedoch eine Halluzination. Veraltete Unternehmensdaten, fehlende Berechtigungen, Übertragungsfehler oder eine falsche Prozessentscheidung haben andere Ursachen. Die passende Gegenmaßnahme hängt davon ab, wo der Fehler entstanden ist.

Vier typische Ursachen

1. Das Modell füllt Lücken

Fehlen wichtige Angaben, versucht der Agent oft trotzdem, eine schlüssige Antwort zu formulieren. Eine klare Vorgabe hilft: Bei fehlenden oder widersprüchlichen Daten soll der Agent die Unsicherheit benennen und nachfragen, statt eine Ursache zu behaupten.

2. Der Kontext passt nicht

Ein Agent kann interne Regeln, aktuelle Vorgänge und frühere Entscheidungen nur berücksichtigen, wenn sie verfügbar und sinnvoll aufbereitet sind. Zu wenig Kontext führt zu Vermutungen. Zu viel Kontext kann wichtige Hinweise zwischen irrelevanten Inhalten verstecken. Anthropic beschreibt, warum lange und überladene Kontexte die Genauigkeit beeinträchtigen können.

3. Die Quellen sind mangelhaft

Dokumente und Datenbanken können veraltet, widersprüchlich oder selbst fehlerhaft sein. Unternehmenswissen oder Websuche verbessern die Informationsbasis, ersetzen aber keine Quellenpflege. Herkunft, Gültigkeit und Aktualisierungsdatum sollten erkennbar sein.

4. Werkzeuge werden falsch genutzt

Ein Agent kann das falsche Werkzeug wählen, Parameter falsch setzen oder eine unvollständige Rückgabe weiterverarbeiten. Klare Werkzeugbeschreibungen, begrenzte Datenmengen, verständliche Fehlermeldungen und realitätsnahe Tests senken dieses Risiko. Anthropic zeigt, worauf es bei Werkzeugen für Agenten ankommt.

Wie begrenzen Unternehmen das Risiko?

Begrenzt Zugriffsrechte auf das Notwendige und protokolliert ausgeführte Aktionen. Prüft Ergebnisse anhand nachvollziehbarer Quellen, besonders bei finanziellen, rechtlichen oder operativ folgenreichen Entscheidungen.

Für sensible Aktionen kann eine ausdrückliche menschliche Freigabe erforderlich sein. Routineaufgaben kann ein Agent innerhalb erteilter Berechtigungen und klarer Grenzen selbstständig ausführen.

Welche Quellen, Rechte und Freigaben passen, hängt vom jeweiligen Anwendungsfall ab. Prüft, wie KI-Agenten in eure Abläufe passen.