Sicherheit, Missbrauch und Governance
RAG Poisoning
Heißt auch Knowledge-Base Poisoning.
Manipulation von Wissensbeständen, die ein RAG-System abruft.
RAG Poisoning zielt auf den Wissensbestand, aus dem ein System seine Antworten speist. Eingeschleust werden Texte, die zu bestimmten Fragen zuverlässig gefunden werden und eine gewünschte Falschaussage enthalten. Eine Untersuchung dazu zeigt, dass dafür schon wenige gezielt formulierte Einträge genügen können. Zou et al.: PoisonedRAG
Zwei Wirkungen in einem Angriff
Die eine ist inhaltlich: Das Modell antwortet auf Grundlage des eingeschleusten Textes und liefert eine Falschaussage mit Quellenangabe, was sie besonders glaubwürdig macht.
Die andere ist die Anweisung im Inhalt. Weil abgerufene Abschnitte im Prompt landen, können sie zugleich Anweisungen enthalten, die das System umlenken sollen. Greshake et al.
So kannst du dir das vorstellen
Jemand hängt eine gefälschte Dienstanweisung ans schwarze Brett. Sie sieht aus wie die anderen, hängt am richtigen Ort, und wer danach handelt, tut es im guten Glauben. Das Bild erklärt die Wirkung, nicht die Erkennung.
Was es in der Praxis bedeutet
Der Bestand braucht dieselbe Sorgfalt wie ein Produktivsystem: geregelte Zuständigkeit für das Einstellen, Prüfung neuer Inhalte, Nachvollziehbarkeit von Änderungen und regelmäßiges Aussortieren.
Besondere Vorsicht gilt für Quellen, die andere befüllen können: geteilte Ablagen, Ticketsysteme, Wikis, eingehende Mails. Wo solche Quellen eingebunden sind, sollten Antworten die Fundstelle ausweisen, damit Nutzer die Herkunft prüfen können.
Wo es verwechselt wird
Der Angriff richtet sich gegen den Bestand, nicht gegen das Modell, und er wirkt auch bei einem tadellos arbeitenden Abruf. Und er ist etwas anderes als Beifang in den Treffern: Der ist unbeabsichtigt, dieser ist gezielt platziert.
Verwandte Begriffe
Data Poisoning, Indirect Prompt Injection, Retrieval-Augmented Generation, Grounding, Metadata Filtering.