Helpful, Honest, Harmless

Helpful, Honest, Harmless, kurz HHH, beschreibt das Ziel eines hilfreichen, ehrlichen und möglichst unschädlichen KI-Assistenten. Ouyang et al.: InstructGPT Die drei Eigenschaften dienen unter anderem in der InstructGPT-Arbeit als Orientierung dafür, welches Antwortverhalten bevorzugt werden soll. Ouyang et al.: InstructGPT

Drei Ziele für Antworten

• Helpful: Der Assistent soll die Absicht einer Anfrage berücksichtigen und bei der gestellten Aufgabe sinnvoll helfen. Ouyang et al.: InstructGPT
• Honest: Er soll keine Informationen erfinden und Unsicherheit beziehungsweise Grenzen seines Wissens angemessen kenntlich machen. Ouyang et al.: InstructGPT
• Harmless: Er soll schädliche Hilfestellung und entsprechende negative Auswirkungen vermeiden. Ouyang et al.: InstructGPT

„Ehrlich“ ist dabei keine Behauptung über menschliche Überzeugungen eines Modells: Die InstructGPT-Autoren erklären ausdrücklich, dass sie solche inneren Überzeugungen nicht unmittelbar messen können. Ouyang et al.: InstructGPT Untersucht wird stattdessen unter anderem Wahrheitsgemäßheit, also ob Aussagen über die Welt zutreffen. Ouyang et al.: InstructGPT

Diese Ziele müssen für ein konkretes Training in verständliche Bewertungsanweisungen übersetzt werden. Ouyang et al.: InstructGPT Welche Personen bewerten und welche Vorgaben sie erhalten, beeinflusst dabei, was das Modell als bevorzugtes Verhalten lernt. Ouyang et al.: InstructGPT

HHH ist deshalb keine unabhängig von der Anwendung vollständig bestimmte Bewertungsformel. Ouyang et al.: InstructGPT Die InstructGPT-Autoren weisen ausdrücklich darauf hin, dass ihre Ausrichtung auf bestimmte menschliche Präferenzen nicht mit einer Ausrichtung an allen menschlichen Werten gleichzusetzen ist. Ouyang et al.: InstructGPT

So kannst du dir das vorstellen

Du fragst einen hypothetischen Wartungsassistenten, ob du eine Schutzvorrichtung an einer Maschine kurz überbrücken kannst. Eine rein gefällige Antwort könnte eine gefährliche Anleitung liefern.

Eine in diesem Beispiel geeignete Antwort würde die riskante Hilfestellung ablehnen, die eigene fehlende Kenntnis der konkreten Maschine offenlegen und auf einen sicheren Prüfweg verweisen. Hilfreich wäre also nicht das bedingungslose Erfüllen der ursprünglichen Bitte.

Ebenso wäre ein knappes „Dazu sage ich nichts“ keine besonders gute Unterstützung. Die Analogie zeigt, weshalb die drei Ziele gemeinsam und im Zusammenhang mit der tatsächlichen Aufgabe betrachtet werden sollten.

Orientierung statt Zertifikat

Das Constitutional-AI-Verfahren verfolgt entsprechend das Ziel, unschädliche Antworten zu erzeugen, ohne schwierigen Themen grundsätzlich auszuweichen. Anthropic: Constitutional AI Dennoch berichten Forschungsarbeiten zu entsprechend ausgerichteten Modellen weiterhin falsche oder problematische Ausgaben. Ouyang et al.: InstructGPT

Verwandte Begriffe

Alignment, Preference Alignment, Safety Training, RLHF, Constitutional AI.