Memory und persistenter Agentenzustand
Memory Poisoning
Fehlerhafte oder manipulierte Inhalte im dauerhaften Agentengedächtnis.
Memory Poisoning bezeichnet das Einbringen fehlerhafter oder manipulierter Inhalte in einen Gedächtnisspeicher, sodass sie spätere Agentenaufrufe beeinflussen können. Redis: Context Poisoning und Memory Der verwendete Fachbeitrag umfasst sowohl absichtliche Angriffe als auch versehentlich gespeicherte Falschangaben. Redis: Context Poisoning und Memory
Ein falscher Eintrag überlebt den ursprünglichen Vorgang
Der Schwerpunkt liegt auf dem dauerhafteren Speicher, nicht nur auf einer einzelnen problematischen Eingabe. Redis: Context Poisoning und Memory Ob ein Eintrag tatsächlich andere Sitzungen erreicht, hängt davon ab, wie die Anwendung Erinnerungen speichert und erneut bereitstellt. Redis: Context Poisoning und Memory
Die Forschungsarbeit AgentPoison untersucht gezielte Angriffe auf Langzeitgedächtnis oder Wissensbasis von Agenten. Chen et al.: AgentPoison Dabei werden manipulierte Beispiele so eingebracht, dass sie bei bestimmten späteren Anfragen abgerufen werden; zusätzliches Modelltraining ist für den beschriebenen Angriff nicht erforderlich. Chen et al.: AgentPoison
Die Studie belegt damit eine konkrete Angriffsart in ihren untersuchten Systemen. Sie zeigt nicht, dass jedes Gedächtnissystem auf identische Weise angreifbar ist.
So kannst du dir das vorstellen
In einem hypothetischen Projektablauf wird die unbestätigte Aussage gespeichert, eine bestimmte Prüfung sei künftig nicht mehr nötig. Wochen später lädt ein Assistent diesen Eintrag und behandelt ihn als verbindliche Vorgabe.
Die ursprüngliche Unterhaltung könnte längst beendet sein. Entscheidend wäre, dass die falsche Aussage über den Speicher erneut wirksam wird.
Das Beispiel ist selbst entworfen und beschreibt keine konkrete Angriffsdurchführung. Es zeigt, weshalb gespeicherte Vorgaben eine nachvollziehbare Herkunft und einen geklärten Status brauchen.
Nicht nur die erste Fundstelle korrigieren
Redis beschreibt, wie falsche Gedächtniseinträge durch spätere Wiederverwendung und Zusammenfassungen weitergetragen werden können. Redis: Context Poisoning und Memory Eine Korrektur sollte daher auch abgeleitete Einträge berücksichtigen.
Für einen eigenen Ablauf würde ich prüfen, wer Erinnerungen schreiben darf, welche Quellen als Grundlage dienen und wie fehlerhafte Einträge ungültig gemacht werden. Zugriffsbeschränkungen, fachliche Validierung und Kontrolle beim späteren Abruf sind dabei unterschiedliche Aufgaben; keine davon sollte pauschal als vollständiger Schutz versprochen werden.
Verwandte Begriffe
Context Poisoning, Prompt Injection, Governed Memory, Hallucination Internalization, Long-Term Memory.