Welche Fragen sollte man einem KI-Agent-Anbieter stellen?

Montagmorgen soll ein KI-Agent eingehende Bestellungen prüfen, unklare Angaben markieren und Datensätze im Warenwirtschaftssystem anlegen. Im Demo-Gespräch klingt das schnell überzeugend. Entscheidend ist, was der Agent dabei tatsächlich lesen, verändern und selbstständig ausführen darf.

Bereitet euch deshalb mit diesen Fragen vor: Welche Aufgaben übernimmt der Agent? Auf welche Daten und Systeme greift er zu? Wie werden Fehler erkannt? Was kostet die Nutzung? Und wie bekommt ihr eure Daten beim Ausstieg zurück?

Aufgaben und Berechtigungen

Ein KI-Agent bearbeitet mehrstufige Aufgaben und kann dafür Werkzeuge und Schnittstellen nutzen. Das unterscheidet ihn von einem Chat, der nur auf eine Eingabe antwortet. Lasst euch einen konkreten Ablauf mit euren Daten zeigen:

• Welche Eingaben verarbeitet der Agent?
• Welche Systeme kann er lesen oder verändern?
• Darf er nur Vorschläge erstellen oder auch Aktionen ausführen?
• Welche Aktionen laufen automatisch?
• Für welche risikoreichen Schritte braucht es eine Bestätigung?
• Gibt es eine Vorschau, einen Abbruch und eine Möglichkeit zur Rückgängigmachung?
• Werden alle ausgeführten Aktionen mit Ergebnis protokolliert?

Fragt außerdem, ob Zugriffe nur lesend möglich sind, wie Rechte begrenzt werden und wie ihr sie wieder entzieht. Das BSI weist bei KI-Agenten auf eigenständige Aktionen, Schnittstellen und weitreichende Zugriffe als zentrale Prüfpunkte hin.

Fehler, Manipulation und Tests

Dokumente, Webseiten und E-Mails können falsche oder versteckte Anweisungen enthalten. Klärt daher:

• Wie erkennt der Agent widersprüchliche oder unvollständige Angaben?
• Was passiert bei einem fehlenden Pflichtfeld?
• Wie verhindert der Anbieter Endlosschleifen und unnötige Modellaufrufe?
• Wie könnt ihr typische Fehlerfälle und manipulierte Inhalte im Pilot testen?
• Wer prüft die Ergebnisse, bevor sie in ein wichtiges System geschrieben werden?

Die OWASP-Leitlinien für KI-Agenten behandeln unter anderem Prompt-Injection, übermäßige Berechtigungen, Protokollierung, Tests und Kostenrisiken.

Daten, Datenschutz und Ausstieg

Lasst euch schriftlich erklären:

• Wo werden Eingaben, Dateien und Protokolle gespeichert?
• Welche Unterauftragnehmer verarbeiten sie?
• Wie lange bleiben die Daten erhalten?
• Wie funktionieren Löschung, Verschlüsselung und Trennung eurer Daten?
• Auf welcher Rechtsgrundlage werden personenbezogene Daten verarbeitet?
• Welche Inhalte und Protokolle erhaltet ihr beim Vertragsende in welchem Format?
• Welche Frist gilt für die Löschung und die Ablösung des Systems?

Der Europäische Datenschutzausschuss betont, dass Datenschutz und Rechtsgrundlage für den konkreten Einsatz geprüft werden müssen.

Was gilt bei Needs?

Laut Needs laufen Plattform und Datenbank in Deutschland. Laut Needs lässt sich für KI-Anfragen festlegen, ob ausschließlich EU-/EWR-Modelle oder zusätzlich internationale Modelle genutzt werden.

Needs weist außerdem auf einen Wissens-Export ohne Lock-in hin. Klärt vorab, welche Inhalte in welchem Format exportiert werden.

Kosten vergleichen

Fragt nach Grundgebühr, nutzungsabhängigen Kosten, Speicher- und Schnittstellenkosten, Modellwechseln sowie Abrechnungsgrenzen. Lasst euch ein realistisches Szenario durchrechnen.

Auf der Needs-Website werden 49 Euro monatlich für zwei Nutzer und 29 Euro für jeden weiteren Nutzer genannt. Prüft, ob die Preise netto oder brutto angegeben sind.

Gespräch mit Needs vorbereiten und die Fragen direkt mitbringen.