Knowledge Editing

Knowledge Editing ändert eine einzelne Tatsache im Modell, ohne es neu zu trainieren. Zuerst wird eingegrenzt, wo die Verknüpfung liegt, dann werden die betroffenen Gewichte so angepasst, dass die alte Antwort durch die neue ersetzt wird. Meng et al.

Drei Anforderungen, die selten zusammen erfüllt sind

Eine gelungene Änderung muss dreierlei leisten: Sie muss greifen, also die neue Antwort liefern. Sie muss verallgemeinern, also auch bei anders formulierten Fragen nach derselben Sache gelten. Und sie darf nichts anderes beschädigen, also weder verwandtes Wissen noch allgemeine Fähigkeiten. Yao et al.

In der Praxis kollidieren diese Anforderungen. Änderungen, die zuverlässig greifen, wirken oft nur bei der genauen Formulierung, mit der bearbeitet wurde. Und viele Änderungen nacheinander verschlechtern das Modell messbar, weil sich die Eingriffe überlagern.

So kannst du dir das vorstellen

Ein Eintrag in einem Nachschlagewerk wird überklebt. An dieser Stelle steht jetzt das Richtige, an fünf anderen Stellen im Buch steht die alte Angabe weiterhin. Das Bild erklärt das Problem der Verallgemeinerung, es beschreibt keinen konkreten Eingriff.

Was es in der Praxis konkret bedeutet

Für aktuelles Wissen ist das nicht der Weg. Wenn dein Modell veraltete Angaben liefert, ist der Abruf aus einer gepflegten Wissensquelle die belastbarere Lösung, weil sich dort nachvollziehen lässt, was gilt, und weil die Änderung an einer Stelle passiert. Modelleingriffe bleiben Forschungssache oder ein Mittel für Fälle, in denen keine Quelle angebunden werden kann.

Wo es verwechselt wird

Knowledge Editing verändert Gewichte dauerhaft, anders als Eingriffe in Aktivierungen, die nur einen Durchlauf betreffen. Und es ist kein Löschen: Die alte Angabe bleibt oft an anderer Stelle abrufbar.

Verwandte Begriffe

Activation Patching, Retrieval-Augmented Generation, Fine-Tuning, Verbatim Memorization, Knowledge Cutoff, Feature Steering.