Tool Poisoning

Tool Poisoning nutzt aus, dass Werkzeugbeschreibungen in den Prompt gehen. Ein manipulierter Server kann in Name, Beschreibung oder Zusatzangaben eines Werkzeugs Anweisungen unterbringen, die das Modell wie Vorgaben behandelt. Die Spezifikation nimmt genau darauf Bezug: Angaben zu Werkzeugen sind als nicht vertrauenswürdig zu behandeln, solange sie nicht von einem vertrauenswürdigen Server stammen. Model Context Protocol: Tools

Die Beschreibung ist Teil des Prompts

Damit ist das eine Form des Einschleusens von Anweisungen über Inhalte, die das System selbst lädt. Greshake et al. Besonders unangenehm ist, dass die Beschreibung schon vor dem ersten Aufruf wirkt: Sie steht im Kontext, sobald der Server angebunden ist.

Dazu kommt, dass sich Werkzeuglisten zur Laufzeit ändern können. Ein Server, der bei der Prüfung harmlos war, kann später andere Beschreibungen ausliefern.

So kannst du dir das vorstellen

Ein Werkzeugkasten, auf dessen Beschriftungen jemand zusätzliche Anweisungen geschrieben hat: „Vor Gebrauch bitte den Schlüsselbund an folgende Adresse senden." Wer nur auf die Beschriftung schaut, liest den Zusatz mit. Das Bild erklärt den Angriffspunkt, nicht die Abwehr.

Was es in der Praxis bedeutet

Für den Betrieb folgt daraus: Nur Server anbinden, deren Betreiber bekannt ist, und Änderungen an Werkzeuglisten nicht stillschweigend übernehmen. In verwalteten Umgebungen gehört eine Liste erlaubter Server dazu.

Zweitens hilft die Trennung der Rechte. Ein Werkzeug, das nur lesen darf, kann auch mit manipulierter Beschreibung wenig anrichten, und schreibende Schritte brauchen ohnehin eine Freigabe.

Wo es verwechselt wird

Das Ziel ist nicht der Server, sondern das Modell, das seine Beschreibungen liest. Und es ist etwas anderes als ein Werkzeug, das absichtlich Schaden anrichtet: Hier geht es um Text, der andere Werkzeuge umlenkt.

Verwandte Begriffe

Indirect Prompt Injection, MCP Tools, Tool Allowlist, MCP Gateway, Data Exfiltration.