Architektur und interne Modellbausteine
Position Interpolation
Heißt auch PI oder Positionsinterpolation.
Anpassung von Positionen zur Verarbeitung längerer Kontexte.
Position Interpolation, kurz PI, ist ein Verfahren zur Kontexterweiterung, bei dem Positionsindizes längerer Eingabefolgen in den zuvor trainierten Positionsbereich eines RoPE-basierten Modells skaliert werden. (Chen et al.) Die Originalarbeit kombiniert diese Anpassung mit weiterem Training des vorhandenen Modells. (Chen et al.)
So kannst du dir das vorstellen
Angenommen, ein vereinfachtes Modell wäre auf einen Positionsbereich bis 1.000 vorbereitet und soll nun 2.000 Positionen verarbeiten. In unserem frei gewählten Beispiel würden die Positionswerte ungefähr halbiert: Die zusätzliche Länge wird auf dieselbe Skala abgebildet.
Das ähnelt einer Karte mit kleinerem Maßstab. Alle Stationen bleiben vorhanden, liegen auf der Karte aber dichter beieinander. Es werden dabei keine Textpassagen gestrichen; verändert wird die Skala, mit der Positionen in die Berechnung eingehen.
Warum nicht einfach weiterzählen?
RoPE kodiert Positionen über Rotationen verschiedener Frequenzen; die ursprüngliche PI-Arbeit beschreibt Schwierigkeiten, wenn solche Modelle weit über die trainierten Positionsbereiche hinaus extrapolieren. (Chen et al.) Extrapolation bedeutet hier, die bisherige Positionsabbildung außerhalb ihres eingeübten Bereichs fortzusetzen. (Chen et al.)
PI wählt stattdessen eine lineare Skalierung der Positionsindizes, was einer gleichmäßigen Anpassung der RoPE-Frequenzen entspricht. (YaRN-Erklärung) Das anschließende Training soll das Modell an die veränderten Positionsbeziehungen gewöhnen. (Chen et al.)
Längere Eingabe ist keine kostenlose Erinnerung
Die Positionsanpassung beseitigt nicht die Berechnung der Attention über die vorhandenen Tokens; vollständige Self-Attention besitzt weiterhin paarweise Verbindungen mit quadratischem Aufwand in der Folgenlänge. (Vaswani et al.) Die Skalierung ist deshalb nicht mit Textkompression oder einer pauschalen Halbierung des Speicherbedarfs gleichzusetzen.
Für eine praktische Prüfung bieten sich Aufgaben mit Informationen an verschiedenen Dokumentpositionen an. Teste kurze Eingaben ebenso wie lange, statt nur zu kontrollieren, ob die Schnittstelle den erweiterten Prompt akzeptiert.
Verwandte Begriffe
Hierzu gehören RoPE, NTK-aware Scaling, YaRN, Kontextfenster und Positional Encoding.