---
term: "HarmBench"
slug: "harmbench"
glossar_id: "G489"
variants: ["AgentHarm"]
category: "namen-haeufig-genannter-benchmarks"
marker: ""
short: "Benchmarks zu schädlichen Anfragen und Agentenverhalten."
sources:
  - label: "Mazeika et al.: HarmBench"
    url: "https://arxiv.org/abs/2402.04249"
  - label: "Andriushchenko et al.: AgentHarm"
    url: "https://arxiv.org/abs/2410.09024"
status: "entwurf"
updated: "2026-09-21"
---

HarmBench ist ein Rahmen für automatisiertes Red Teaming, also für das systematische Suchen nach Eingaben, mit denen sich Schutzmechanismen umgehen lassen. Die Arbeit von 2024 vergleicht 18 Angriffsverfahren gegen 33 Modelle und Abwehrmaßnahmen nach einheitlichen Regeln. Vorher war jede Untersuchung anders aufgebaut, und Ergebnisse ließen sich kaum gegeneinander halten. [Mazeika et al.](https://arxiv.org/abs/2402.04249)

## Bei Agenten reicht die Ablehnungsquote nicht mehr

Für Agenten mit Werkzeugen gilt eine andere Messlatte, und dafür steht AgentHarm mit 110 ausdrücklich bösartigen Agentenaufgaben aus elf Schadenskategorien, darunter Betrug, Computerkriminalität und Belästigung. Gemessen wird nicht nur, ob das Modell ablehnt, sondern auch, ob ein umgangener Agent die mehrstufige Aufgabe tatsächlich zu Ende bringt. [Andriushchenko et al.](https://arxiv.org/abs/2410.09024)

Dieser zweite Teil ist der Kern. Ein Agent, der eine schädliche Anweisung annimmt, an Schritt drei aber scheitert, richtet weniger an als einer, der sie durchzieht. Ablehnungsquote und Schadenspotenzial sind damit zwei verschiedene Größen.

## So kannst du dir das vorstellen

Zwei Türen mit demselben Schloss. Hinter der einen liegt ein Zettel, hinter der anderen der Schlüsselbund fürs ganze Haus. Dasselbe Schloss zu knacken wiegt unterschiedlich schwer. Das Bild erklärt, warum Werkzeugzugang die Bewertung verändert, es beschreibt keinen konkreten Angriff.

## Was es in der Praxis konkret bedeutet

Wenn du einen Agenten mit Werkzeugen ausstattest, ist die Frage nicht nur, was er ablehnt, sondern was er im Fall einer erfolgreichen Manipulation anrichten kann. Begrenze deshalb an der Berechtigung statt am Prompt: getrennte Zugangsdaten, Leserechte statt Schreibrechte, Bestätigung durch Menschen vor auslösenden Schritten.

## Wo es verwechselt wird

Solche Tests messen Widerstandsfähigkeit gegen absichtliche Angriffe, nicht die Wahrscheinlichkeit, dass im normalen Betrieb etwas schiefgeht. Und ein gutes Ergebnis gilt für die geprüften Angriffsverfahren, nicht für alle künftigen.

## Verwandte Begriffe

**Jailbreak**, **Red Teaming**, **Prompt Injection**, **Blast Radius**, **Safety Training**, **Benchmark**.