---
term: "Red Teaming"
slug: "red-teaming"
glossar_id: "G445"
variants: []
category: "sicherheit-missbrauch-und-governance"
marker: ""
short: "Gezieltes adversariales Testen von Grenzen und Sicherheitsmechanismen."
sources:
  - label: "Ganguli et al.: Red Teaming Language Models to Reduce Harms"
    url: "https://arxiv.org/abs/2209.07858"
  - label: "Wei et al.: Jailbroken, How Does LLM Safety Training Fail?"
    url: "https://arxiv.org/abs/2307.02483"
status: "entwurf"
updated: "2026-09-21"
---

Red Teaming ist das absichtliche Angreifen des eigenen Systems, um Schwächen zu finden, bevor andere sie finden. Eine Arbeit dazu beschreibt den Ansatz als gleichzeitiges Entdecken, Messen und Verringern schädlicher Ausgaben, über verschiedene Modellgrößen und Trainingsarten hinweg. [Ganguli et al.](https://arxiv.org/abs/2209.07858)

## Messen gehört dazu, nicht nur Finden

Der Unterschied zum Ausprobieren liegt in der Systematik: Angriffe werden gesammelt, kategorisiert und wiederholbar gemacht, sodass sich nach einer Änderung sagen lässt, ob sie wirkt. Ohne diese Sammlung bleibt es bei Anekdoten.

Nützlich ist dabei zu wissen, warum Angriffe gelingen. Konkurrierende Ziele im Training und eine Sicherheitsausrichtung, die nicht so weit reicht wie die Fähigkeiten, sind zwei benannte Ursachen. [Wei et al.](https://arxiv.org/abs/2307.02483)

## So kannst du dir das vorstellen

Die Feuerwehr, die den eigenen Betrieb auf Brandlasten prüft, statt auf den Ernstfall zu warten. Sie sucht gezielt die Stellen, an denen es brennen würde. Das Bild erklärt die Haltung, nicht die Methoden.

## Was es in der Praxis bedeutet

Für eigene Anwendungen lohnt sich eine kleine, feste Sammlung von Angriffsversuchen, die bei jeder Änderung durchläuft: eingeschleuste Anweisungen in Dokumenten, Versuche, Werkzeuge zweckentfremdet aufzurufen, Fragen an den Rand der erlaubten Themen.

Wichtig ist, nicht nur das Modell zu testen, sondern die Anwendung. Die interessanten Lücken liegen meist in der Verkettung: Was passiert, wenn ein gelesenes Dokument eine Anweisung enthält und danach ein schreibendes Werkzeug bereitsteht?

## Wo es verwechselt wird

Red Teaming ist kein Penetrationstest der Infrastruktur, auch wenn beides zusammengehört. Und bestandene Tests sind kein Nachweis von Sicherheit, sondern nur ein Nachweis für die getesteten Fälle.

## Verwandte Begriffe

**Jailbreak**, **Prompt Injection**, **AI Safety**, **Evaluation**, **Guardrails**, **Safety Training**.