Safety Training

Safety Training bezeichnet hier die gezielte Modellanpassung, die schädliches oder anderweitig unerwünschtes Antwortverhalten reduzieren soll. Anthropic: Constitutional AI Dazu können überwachte Trainingsbeispiele sowie Bewertungen gehören, die hilfreiche, aber möglichst unschädliche Antworten bevorzugen. Anthropic: Constitutional AI

Verhalten im Training beeinflussen

Beim überwachten Ansatz wird das Modell an geeigneten Antwortbeispielen angepasst. Anthropic: Constitutional AI Constitutional AI beschreibt dafür unter anderem Antworten, die zuvor anhand vorgegebener Sicherheitsprinzipien kritisiert und überarbeitet wurden. Anthropic: Constitutional AI

Ein weiterer Ansatz nutzt Präferenzurteile über Antwortalternativen, aus denen ein Bewertungsmodell und anschließend ein Signal für bestärkendes Lernen entstehen. Anthropic: Constitutional AI Im klassischen RLHF stammen solche Urteile von Menschen; beim beschriebenen RLAIF-Schritt werden sie durch eine KI erzeugt. Ouyang et al.: InstructGPT Anthropic: Constitutional AI

Diese Methoden verändern das Modell durch Training und sind deshalb von einer bloßen Verhaltensanweisung für eine einzelne Anfrage zu unterscheiden. Anthropic: Constitutional AI Der Begriff Safety Training benennt zudem ein Trainingsziel, nicht einen einzigen festgelegten Algorithmus. Anthropic: Constitutional AI

So kannst du dir das vorstellen

Stell dir einen hypothetischen Assistenten für interne Personalfragen vor. Auf eine unberechtigte Bitte nach privaten Kontaktdaten soll er diese nicht herausgeben, aber erklären, welcher offizielle Kontaktweg vorgesehen ist.

Ein geeignetes Trainingsbeispiel würde in diesem Fall keine pauschale Ablehnung sämtlicher Personalfragen zeigen. Es würde zwischen dem problematischen Teil der Anfrage und einer zulässigen Hilfestellung unterscheiden.

Für den späteren Betrieb würde ich zusätzlich echte Zugriffsrechte durchsetzen. Die gewünschte Antwortform sollte nicht die einzige Schutzmaßnahme für vertrauliche Informationen sein.

Ablehnen allein reicht nicht

Das erklärte Ziel ist, unschädliche Antworten zu erhalten, ohne den Assistenten grundsätzlich ausweichend zu machen. Anthropic: Constitutional AI Sicherheit und Hilfreichsein müssen damit gemeinsam betrachtet werden, statt jedes Nein automatisch als Erfolg zu zählen. Anthropic: Constitutional AI

Auch nach einer solchen Ausrichtung bleiben Fehler möglich: Die InstructGPT-Arbeit berichtet weiterhin falsche und problematische Ausgaben. Ouyang et al.: InstructGPT Für eine eigene Prüfung würde ich daher sowohl schädliche Hilfestellung als auch unnötige Ablehnungen legitimer Anliegen erfassen.

Verwandte Begriffe

Alignment, Fine-Tuning, RLHF, Constitutional AI, Helpful, Honest, Harmless.