YaRN

YaRN, ausgeschrieben „Yet another RoPE extensioN method“, ist ein Verfahren zur Erweiterung der nutzbaren Kontextlänge von RoPE-basierten Sprachmodellen. (Peng et al.) Es kombiniert eine differenzierte Anpassung der Positionsfrequenzen mit einer Skalierung der Attention-Vergleichswerte. (Erklärung der Autoren)

So kannst du dir das vorstellen

Stell dir ein Messsystem mit verschiedenen Skalen vor. Einige sind für kleine Unterschiede ausgelegt, andere für große Abstände. Wenn der Messbereich wachsen soll, wäre es möglicherweise ungeschickt, sämtliche Skalen identisch umzubauen.

YaRN lässt sich als abgestimmte Anpassung dieser Skalen und ihrer Auswertung veranschaulichen. Das Bild erklärt die Kombination mehrerer Eingriffe, nicht die Garantie, dass ein längeres Dokument anschließend überall gleich zuverlässig ausgewertet wird.

Frequenzen und Gewichtung gemeinsam anpassen

RoPE verwendet positionsabhängige Rotationen mit verschiedenen Frequenzen, um Reihenfolge und Abstände in der Attention-Berechnung zu berücksichtigen. (Erklärung der Autoren) YaRN behandelt Frequenzbereiche unterschiedlich: Ein Bereich bleibt weitgehend unverändert, ein anderer wird interpoliert, dazwischen liegt ein abgestufter Übergang. (Erklärung der Autoren)

Hinzu kommt eine Temperaturskalierung der Attention-Logits, also der Vergleichswerte vor ihrer Umwandlung in Attention-Gewichte. (Erklärung der Autoren) Diese Temperatur betrifft einen internen Rechenschritt und darf nicht mit der Sampling-Temperatur für die Auswahl ausgegebener Tokens gleichgesetzt werden.

Die Forschungsarbeit untersucht YaRN als Verfahren zur Kontexterweiterung mit zusätzlichem Training und berichtet außerdem Extrapolation über die dabei verwendeten Kontextlängen hinaus. (Peng et al.) Solche Ergebnisse gelten für die untersuchten Modelle und Versuche, nicht automatisch für jede Installation.

Was eine YaRN-Einstellung noch nicht beweist

Implementierungen benötigen passende Parameter, beispielsweise für Skalierungsfaktor, Übergangsbereiche und Attention-Anpassung. (Transformers-Dokumentation) Die bloße Aktivierung einer Option ist daher kein ausreichender Nachweis für ein verlässlich größeres Kontextfenster.

Für die praktische Abnahme eignen sich gezielte Aufgaben mit Angaben am Anfang, in der Mitte und am Ende langer Texte. Vergleiche außerdem mit kurzen Aufgaben, damit eine Erweiterung nicht nur nach akzeptierter Eingabelänge beurteilt wird.

Verwandte Begriffe

Zur Einordnung dienen RoPE, Position Interpolation, NTK-aware Scaling, Kontextfenster und Attention.