KI-Agent Quellentreue prüfen: So gehen Sie vor

Ein KI-Agent fasst Ihre Reisekostenrichtlinie zusammen: „Hotelkosten werden bis 150 Euro erstattet.“ Die Antwort klingt plausibel. Bevor jemand danach abrechnet, öffnen Sie die genannte Richtlinie und suchen die genaue Stelle.

Dort steht: „Bis einschließlich 31. Dezember gilt ein Höchstbetrag von 120 Euro; ab 1. Januar sind 150 Euro zulässig.“ Ohne diese zeitliche Einschränkung ist die Antwort nicht quellentreu.

Was bedeutet Quellentreue bei einem KI-Agenten?

Quellentreue bedeutet: Jede relevante Aussage muss sich aus der angegebenen Quelle ableiten lassen. Dafür wählen Sie einzelne Aussagen als Stichprobe aus, öffnen die Quellen und vergleichen den Wortlaut mit der Antwort.

Sie können beispielsweise zwischen diesen Prüfergebnissen unterscheiden:

• Belegt: Die Quelle trägt die Aussage einschließlich Zahlen, Zeitraum und Einschränkungen.
• Widersprüchlich: Die Quelle nennt einen anderen Betrag, Zeitraum oder Geltungsbereich.
• Unbelegt ergänzt: Der KI-Agent fügt ein Detail oder eine Schlussfolgerung hinzu, die nicht aus der Quelle folgt.
• Nicht prüfbar: Die Quellenangabe fehlt oder ist zu ungenau.

Eine Aussage kann mehreren Ergebnissen entsprechen. Fehlt etwa die Quellenangabe für eine Ergänzung, ist sie sowohl unbelegt als auch nicht prüfbar.

Ohne genaue Quellenangabe ist keine Prüfung möglich

Eine brauchbare Quellenangabe muss zum Ergebnis passen. Sie nennt mindestens:

• das Quelldokument,
• dessen Version oder Datum,
• die konkrete Fundstelle, etwa Seite, Abschnitt oder Absatz.

Der Name eines passenden Dokuments genügt nicht. Auch eine veraltete Version kann eine Aussage scheinbar belegen, obwohl inzwischen eine andere Regel gilt.

Achten Sie besonders auf kleine Abweichungen mit großer Wirkung. Aus „ab Juli“ wird „seit Januar“. Eine Regel für die deutsche Gesellschaft gilt plötzlich für alle Standorte. Auch erfundene Zitate, Autoren oder Abschnittsnummern zählen zu den unbelegten Ergänzungen.

Korrekt heißt nicht automatisch quellentreu

Eine Aussage kann sachlich richtig sein und trotzdem nicht aus der genannten Quelle folgen. Die Forschungsarbeit „Correctness is not Faithfulness in RAG Attributions“ trennt deshalb die Richtigkeit einer Aussage von ihrer Quellentreue. Microsoft bezeichnet nicht belegte oder der Quelle widersprechende Inhalte als „ungrounded“, also nicht durch das Ausgangsmaterial gedeckt (Groundedness Detection).

So prüfen Sie wiederholbar

1. Ziehen Sie Stichproben aus verschiedenen Arten von Antworten.
2. Speichern Sie Antwort, Quelldokument, Versionsstand und Fundstelle.
3. Ordnen Sie jede geprüfte Aussage einem oder mehreren Prüfergebnissen zu.
4. Prüfen Sie Zahlen, Fristen, Einschränkungen und Schlussfolgerungen besonders genau.
5. Wiederholen Sie die Prüfung nach Änderungen am KI-Agenten oder an den Dokumenten.

Auch das NIST-Rahmenwerk für generative KI empfiehlt, Quellen und Zitate vor dem Einsatz und im laufenden Betrieb zu prüfen.

Needs ist ein Agent OS für Unternehmen. Ob und wie Needs Ihren Prüfprozess abbildet, sollten Sie anhand der aktuellen Produktdokumentation und Ihrer konkreten Anforderungen klären.

Wenn Sie Quellentreue in Ihren Abläufen nachvollziehbar prüfen möchten, erfahren Sie mehr auf needs.expert.