Alignment

Alignment bezeichnet die Ausrichtung eines KI-Systems an beabsichtigten Zielen, Anforderungen und menschlichen Wertvorstellungen. Ouyang et al.: InstructGPT Bei Sprachassistenten gehört dazu beispielsweise, Anweisungen sinnvoll umzusetzen, wahrheitsgemäß zu antworten und schädliche Hilfestellung zu vermeiden. Ouyang et al.: InstructGPT

Woran wird ein Modell ausgerichtet?

Ein Sprachmodell lernt beim grundlegenden Training zunächst Muster aus Texten; daraus folgt noch nicht, dass seine Antworten den Absichten der Nutzer entsprechen. Ouyang et al.: InstructGPT Zusätzliche Trainingsverfahren können deshalb erwünschte Antworten vorführen oder bevorzugte Antworten gegenüber schlechteren Alternativen verstärken. Ouyang et al.: InstructGPT

Dabei ist die Frage „Wessen Vorstellungen gelten?“ entscheidend: Die InstructGPT-Arbeit spricht ausdrücklich von der Ausrichtung an den Präferenzen beteiligter Bewertender und Forschender, nicht an einem vollständigen Konsens der Menschheit. Ouyang et al.: InstructGPT Schon die Auswahl dieser Personen und ihrer Bewertungsanweisungen beeinflusst das Trainingsziel. Ouyang et al.: InstructGPT

So kannst du dir das vorstellen

Stell dir einen hypothetischen Assistenten für einen Handwerksbetrieb vor. Er soll Kunden verständlich helfen, darf aber keine Termine erfinden oder gefährliche Reparaturanleitungen geben.

Eine gefällige Antwort wie „Morgen kommt garantiert jemand“ wäre ungeeignet, wenn der Kalender diese Zusage nicht trägt. In diesem Beispiel gehört zum gewünschten Verhalten, eine Wissenslücke offenzulegen und stattdessen einen verlässlichen nächsten Schritt anzubieten.

Die Analogie beschreibt Anforderungen an das Verhalten, keine menschliche Überzeugung im Inneren des Modells. Genau diese Trennung solltest du beim Lesen des Begriffs beibehalten.

Kein Gütesiegel

Alignment ist keine Garantie, dass ein System in jeder Situation richtig oder sicher handelt: Auch die mit menschlichem Feedback angepassten InstructGPT-Modelle erzeugten weiterhin falsche oder problematische Antworten. Ouyang et al.: InstructGPT Ebenso wäre bloßes Befolgen jeder Nutzeranweisung kein ausreichendes Ziel, wenn eine Anfrage selbst schädlich ist. Ouyang et al.: InstructGPT

Für eine Anbieterbewertung lohnt sich deshalb eine konkrete Nachfrage: Welche Verhaltensziele wurden festgelegt, wer hat sie bewertet und in welchen Situationen wurden sie geprüft? Das ist aussagekräftiger als das unkommentierte Etikett „aligned“.

Verwandte Begriffe

Preference Alignment, RLHF, Constitutional AI, Safety Training, Helpful, Honest, Harmless.