Interpretierbarkeit und fortgeschrittene Alignment-Risiken
Explainable AI
Ansätze zur verständlichen Erklärung von Modellentscheidungen.
Explainable AI, oft als XAI abgekürzt, sammelt Verfahren, die nachvollziehbar machen sollen, warum ein System zu einem Ergebnis kommt. Eine verbreitete Systematik nennt vier Anforderungen: Es gibt überhaupt eine Erklärung, sie ist für die Adressaten verständlich, sie beschreibt den tatsächlichen Vorgang, und das System zeigt an, wenn es außerhalb seines Zuständigkeitsbereichs arbeitet. NIST IR 8312
Erklärung im Nachhinein ist nicht dasselbe wie Nachvollziehbarkeit
Die meisten Verfahren erklären ein undurchsichtiges Modell von außen, etwa indem sie Merkmale nach ihrem Einfluss gewichten. Eine einflussreiche Gegenposition hält das bei folgenreichen Entscheidungen für ungenügend: Eine nachträgliche Erklärung sei notwendigerweise ungenau, sonst wäre sie das Modell selbst. Vorgeschlagen wird stattdessen, in solchen Bereichen von vornherein Modelle zu verwenden, die sich lesen lassen. Rudin
Bei Sprachmodellen kommt eine Besonderheit dazu. Ein Modell kann eine Begründung formulieren, die plausibel klingt und mit dem tatsächlichen Rechenvorgang nichts zu tun hat.
So kannst du dir das vorstellen
Jemand erklärt nach einer Bauchentscheidung, warum sie richtig war. Die Begründung kann stimmig sein und trotzdem nicht der Grund gewesen sein. Das Bild erklärt den Unterschied zwischen Begründung und Ursache, es unterstellt keine Absicht.
Was es in der Praxis konkret bedeutet
Kläre zuerst, wofür die Erklärung gebraucht wird. Für Fehlersuche reichen andere Mittel als für eine Auskunft an Betroffene oder eine Aufsichtsbehörde. Und verlasse dich bei folgenreichen Entscheidungen nicht auf die Selbstauskunft eines Sprachmodells: Prüfbar ist, ob die genannten Belege existieren und die Schlussfolgerung tragen, nicht ob das Modell wirklich so gedacht hat.
Wo es verwechselt wird
Explainable AI und mechanistische Interpretierbarkeit werden vermischt. XAI erklärt Entscheidungen für Menschen, die Interpretierbarkeitsforschung untersucht die Rechenvorgänge im Modell. Und eine ausgegebene Gedankenkette ist keine Erklärung im Sinne dieser Anforderungen.
Verwandte Begriffe
Mechanistic Interpretability, Chain of Thought, Faithfulness, AI Governance, Feature, Attribution Patching.