Wie gehen KI-Agenten mit veraltetem Wissen um?

Ein Mitarbeiter fragt den KI-Agenten: „Welche Reiserichtlinie gilt aktuell für Hotelbuchungen?“ Im Unternehmensordner liegen zwei Fassungen: eine vom vergangenen Jahr und eine neue Richtlinie, die seit Januar gilt. Welche Antwort ist verlässlich?

Die kurze Antwort: Ein KI-Agent erkennt veraltetes Wissen nicht automatisch sicher. Er kann das Risiko begrenzen, indem er gültige Quellen abfragt, Änderungsdaten berücksichtigt, die Herkunft nennt und Widersprüche offenlegt. Fehlen belastbare Informationen, sollte er seine Unsicherheit benennen.

Warum das Sprachmodell allein nicht genügt

Ein Sprachmodell arbeitet mit seinem Trainingswissen. Dieses Wissen kann unvollständig oder veraltet sein. Trotzdem formuliert das Modell Antworten oft überzeugend. NIST und OWASP führen falsche oder unbelegte Antworten deshalb als relevantes Risiko auf.

Aktuelle Unternehmensinformationen können über angebundene Quellen bereitgestellt werden. Dazu zählen etwa Dokumente, Datenbanken oder Webseiten. Auch direkt abgefragte Systeme und andere Quellen zur Laufzeit kommen infrage. Bei einem Suchbestand hängt die Aktualität unter anderem davon ab, ob die Quelle gepflegt und der Suchbestand rechtzeitig aktualisiert wird. Auswahl, Filterung und Verarbeitung der Treffer spielen ebenfalls eine Rolle. AWS beschreibt diesen Zusammenhang ausführlicher.

Vier Regeln gegen veraltete Antworten

1. Gültigkeit festlegen

Für wichtige Informationen sollten Gültigkeitszeitraum, Version und letzte Änderung bekannt sein. „Aktuell“ bedeutet je nach Aufgabe etwas anderes: Eine Sicherheitswarnung muss möglicherweise kurzfristig geprüft werden. Eine Reisekostenregel kann länger unverändert gelten.

2. Verantwortliche Quellen bevorzugen

Eine freigegebene und gültige Richtlinie der Personalabteilung sollte gegenüber einem ähnlichen Treffer in einem alten Archiv bevorzugt werden. Ähnlichkeit allein entscheidet nicht über die Gültigkeit. Eine fachlich verantwortliche Stelle und ein Veröffentlichungsdatum helfen bei der Einordnung.

3. Aktualisierung messbar machen

Unternehmen sollten festhalten, wie oft Quellen geprüft werden und wie viel Zeit zwischen einer Änderung und ihrer Aufnahme in den Suchbestand vergeht. Überholte Dokumente sollten je nach Anwendungsfall aus dem Suchbestand entfernt, ersetzt oder eindeutig gekennzeichnet werden. Microsoft empfiehlt ebenfalls, diese Verzögerung zu messen.

4. Konflikte sichtbar machen

Findet der Agent zwei widersprüchliche Fassungen, sollte er den Konflikt offen nennen. Er kann Versionen, Gültigkeitsdaten und Quellen gegenüberstellen. Bei kritischen Vorgängen braucht es eine festgelegte Klärung, bevor der Agent weiterarbeitet oder eine folgenreiche Aktion ausführt.

Was das für Unternehmen bedeutet

Technische Fähigkeiten, Berechtigungen und Freigaben sind getrennte Fragen. Ein Agent kann erlaubte Routineaktionen selbst ausführen. Das Unternehmen legt fest, welche Daten er verwenden darf und bei welchen risikoreichen Aktionen ein Mensch entscheiden muss.

Needs beschreibt sich als Agent OS, in dem Menschen und KI-Agenten zusammenarbeiten und Wissen gemeinsames Firmenwissen wird. Welche Einrichtung im konkreten Fall sinnvoll ist, hängt vom Anwendungsfall und seiner Risikoklasse ab.

Wenn ihr prüfen möchtet, wie KI-Agenten zu euren Abläufen passen, findet ihr weitere Informationen auf needs.expert.