Sicherheit, Missbrauch und Governance
Data Poisoning
Manipulation von Trainings-, Anpassungs- oder anderen modellrelevanten Daten.
Data Poisoning ist das gezielte Einschleusen manipulierter Daten in einen Bestand, aus dem ein Modell lernt oder schöpft. Eine Untersuchung zu Trainingsdaten aus dem Netz zeigt, dass solche Angriffe praktisch durchführbar sind, unter anderem weil sich Inhalte im Netz nachträglich ändern lassen und weil Teile bekannter Datensätze später aufgekauft werden können. Carlini et al.
Nicht nur das Training ist betroffen
Der Begriff wird inzwischen weiter gefasst. Neben Trainingsdaten sind Bestände betroffen, aus denen Systeme zur Laufzeit abrufen: Eine Arbeit zu Wissensdatenbanken hinter Abrufsystemen zeigt, dass bereits wenige eingeschleuste Texte Antworten gezielt verfälschen können. Zou et al.: PoisonedRAG
Für Anwender ist die zweite Variante die näherliegende, weil der eigene Dokumentenbestand unmittelbar in den Antworten landet.
So kannst du dir das vorstellen
Jemand legt gefälschte Seiten in ein Nachschlagewerk. Wer darin liest, zitiert die Fälschung in gutem Glauben, und die Fälschung sieht aus wie der Rest. Das Bild erklärt die Wirkung, es beschreibt keinen Angriffsweg.
Was es in der Praxis bedeutet
Für den eigenen Wissensbestand heißt das: Wer darf Dokumente einstellen, wird das geprüft, und lässt sich nachvollziehen, wer wann was geändert hat. Ein offener Ordner, aus dem ein Assistent abruft, ist eine Einladung.
Beim Zukauf von Daten oder Modellen gilt dasselbe in anderer Form: Herkunft, Aktualisierungswege und Prüfschritte gehören in die Bewertung, nicht nur die Qualität der Ergebnisse.
Wo es verwechselt wird
Vergiftete Daten sind keine Halluzination: Das Modell gibt korrekt wieder, was in seiner Quelle steht. Und der Angriff braucht keinen Zugang zum Modell, nur zu einem Bestand, den es benutzt.
Verwandte Begriffe
RAG Poisoning, Tool Poisoning, Training, Provenance, Prompt Injection.