---
term: "Safety Training"
slug: "safety-training"
glossar_id: "G160"
variants: ["Safety Fine-Tuning"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: ""
short: "Training zur Reduktion unerwünschten oder schädlichen Verhaltens."
sources:
  - label: "Anthropic: Constitutional AI"
    url: "https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback"
  - label: "Ouyang et al.: InstructGPT"
    url: "https://arxiv.org/pdf/2203.02155"
status: "entwurf"
updated: "2026-09-20"
---

Safety Training bezeichnet hier die gezielte Modellanpassung, die schädliches oder anderweitig unerwünschtes Antwortverhalten reduzieren soll. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) Dazu können überwachte Trainingsbeispiele sowie Bewertungen gehören, die hilfreiche, aber möglichst unschädliche Antworten bevorzugen. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)

## Verhalten im Training beeinflussen

Beim überwachten Ansatz wird das Modell an geeigneten Antwortbeispielen angepasst. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) Constitutional AI beschreibt dafür unter anderem Antworten, die zuvor anhand vorgegebener Sicherheitsprinzipien kritisiert und überarbeitet wurden. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)

Ein weiterer Ansatz nutzt Präferenzurteile über Antwortalternativen, aus denen ein Bewertungsmodell und anschließend ein Signal für bestärkendes Lernen entstehen. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) Im klassischen RLHF stammen solche Urteile von Menschen; beim beschriebenen RLAIF-Schritt werden sie durch eine KI erzeugt. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)

Diese Methoden verändern das Modell durch Training und sind deshalb von einer bloßen Verhaltensanweisung für eine einzelne Anfrage zu unterscheiden. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) Der Begriff Safety Training benennt zudem ein Trainingsziel, nicht einen einzigen festgelegten Algorithmus. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)

## So kannst du dir das vorstellen

Stell dir einen hypothetischen Assistenten für interne Personalfragen vor. Auf eine unberechtigte Bitte nach privaten Kontaktdaten soll er diese nicht herausgeben, aber erklären, welcher offizielle Kontaktweg vorgesehen ist.

Ein geeignetes Trainingsbeispiel würde in diesem Fall keine pauschale Ablehnung sämtlicher Personalfragen zeigen. Es würde zwischen dem problematischen Teil der Anfrage und einer zulässigen Hilfestellung unterscheiden.

Für den späteren Betrieb würde ich zusätzlich echte Zugriffsrechte durchsetzen. Die gewünschte Antwortform sollte nicht die einzige Schutzmaßnahme für vertrauliche Informationen sein.

## Ablehnen allein reicht nicht

Das erklärte Ziel ist, unschädliche Antworten zu erhalten, ohne den Assistenten grundsätzlich ausweichend zu machen. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) Sicherheit und Hilfreichsein müssen damit gemeinsam betrachtet werden, statt jedes Nein automatisch als Erfolg zu zählen. [Anthropic: Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)

Auch nach einer solchen Ausrichtung bleiben Fehler möglich: Die InstructGPT-Arbeit berichtet weiterhin falsche und problematische Ausgaben. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Für eine eigene Prüfung würde ich daher sowohl schädliche Hilfestellung als auch unnötige Ablehnungen legitimer Anliegen erfassen.

## Verwandte Begriffe

**Alignment**, **Fine-Tuning**, **RLHF**, **Constitutional AI**, **Helpful, Honest, Harmless**.