---
term: "AI Safety"
slug: "ai-safety"
glossar_id: "G435"
variants: []
category: "sicherheit-missbrauch-und-governance"
marker: ""
short: "Vermeidung schädlichen, gefährlichen oder unkontrollierbaren KI-Verhaltens."
sources:
  - label: "Ganguli et al.: Red Teaming Language Models to Reduce Harms"
    url: "https://arxiv.org/abs/2209.07858"
  - label: "Wei et al.: Jailbroken, How Does LLM Safety Training Fail?"
    url: "https://arxiv.org/abs/2307.02483"
status: "entwurf"
updated: "2026-09-21"
---

AI Safety ist der Sammelbegriff für die Arbeit daran, dass KI-Systeme keinen Schaden anrichten: weder durch gefährliche Auskünfte noch durch unkontrollierte Handlungen noch durch Verhalten, das den Vorgaben der Betreiber widerspricht.

## Zwischen hilfreich und harmlos liegt ein Konflikt

Trainiert werden Modelle auf mehrere Ziele zugleich, und diese Ziele stehen teils gegeneinander. Eine Untersuchung zu Umgehungsversuchen beschreibt genau das als eine der Ursachen: konkurrierende Ziele, wenn Fähigkeit und Sicherheitsvorgabe im Widerspruch stehen, und ungleiche Verallgemeinerung, wenn die Sicherheitsausrichtung nicht so weit reicht wie die Fähigkeiten. [Wei et al.](https://arxiv.org/abs/2307.02483)

Deshalb ist Sicherheit kein Zustand, der erreicht und abgehakt wird, sondern ein laufender Prozess aus Prüfen, Nachbessern und erneutem Prüfen, unter anderem durch gezieltes Angreifen der eigenen Systeme. [Ganguli et al.](https://arxiv.org/abs/2209.07858)

## So kannst du dir das vorstellen

Arbeitssicherheit in einem Betrieb. Sie besteht nicht aus einer Schulung, sondern aus Regeln, Schutzeinrichtungen, Prüfungen und der Bereitschaft, nach Beinahe-Unfällen etwas zu ändern. Das Bild erklärt den Prozesscharakter, nicht einzelne Maßnahmen.

## Was es in der Praxis bedeutet

Für Anwender im Unternehmen ist der wichtigste Teil der, der außerhalb des Modells liegt: Welche Werkzeuge bekommt ein System, welche Rechte, welche Freigaben, was wird protokolliert. Diese Fragen entscheiden über den Schaden im Fehlerfall mehr als die Ausrichtung des Modells.

Sinnvoll ist außerdem, Vorfälle zu sammeln und auszuwerten, auch die harmlosen. Wer nur auf Schadensfälle wartet, lernt zu spät.

## Wo es verwechselt wird

Sicherheit im Sinne der KI-Ausrichtung ist nicht dasselbe wie IT-Sicherheit, auch wenn beides zusammenwirkt. Und ein Modell, das viel ablehnt, ist nicht automatisch sicher, sondern oft nur vorsichtiger.

## Verwandte Begriffe

**Guardrails**, **Red Teaming**, **Jailbreak**, **Alignment**, **Safety Training**, **AI Governance**.