Training, Daten und Modellanpassung
rsLoRA
Heißt auch Rank-Stabilized LoRA.
LoRA-Variante mit angepasster Skalierung für größere Ränge.
rsLoRA bedeutet Rank-Stabilized LoRA und verändert die Skalierung der LoRA-Gewichtsanpassung in Abhängigkeit vom Rang. (Hugging Face LoRA-Dokumentation) Anstelle des üblichen Faktors Alpha geteilt durch Rang verwendet die Variante Alpha geteilt durch die Quadratwurzel des Rangs. (Hugging Face LoRA-Dokumentation)
So kannst du dir das vorstellen
Stell dir vor, ein Korrekturmodul erhält mehr einstellbare Richtungen. Gleichzeitig bestimmt ein übergeordneter Regler, wie stark das gesamte Modul auf die Grundeinstellung wirkt.
Du möchtest beim Ausbau des Moduls verhindern, dass seine Wirkung durch die gewählte Skalierungsregel zu stark abgeschwächt wird. rsLoRA verändert in diesem Bild die Regel für den übergeordneten Regler. Es entscheidet nicht automatisch, wie viele Richtungen für deine Aufgabe sinnvoll sind.
Rang und Skalierung auseinanderhalten
Bei LoRA bezeichnet der Rang die innere Dimension der beiden kleinen Matrizen, mit denen die Gewichtsanpassung dargestellt wird. (Hugging Face LoRA-Dokumentation) Die rsLoRA-Skalierung soll die Anpassung bei höheren Rängen stabilisieren und deren Nutzung erleichtern. (Hugging Face LoRA-Dokumentation)
Der Rang bleibt dabei eine konfigurierte Größe; rsLoRA ist nicht automatisch ein Verfahren, das ihn während des Trainings selbst auswählt. (Hugging Face LoRA-Dokumentation) Auch der Skalierungsparameter Alpha und die Auswahl der Zielschichten bleiben relevante Einstellungen. (Hugging Face LoRA-Dokumentation)
Warum ein fairer Vergleich genauer sein muss
Wenn du gewöhnliches LoRA und rsLoRA vergleichst, dokumentiere Rang, Alpha, Zielschichten und Trainingsdaten gemeinsam. Gleiche Zahlenwerte in einer Konfigurationsdatei bedeuten wegen der veränderten Skalierungsformel nicht automatisch dieselbe Stärke der Gewichtsanpassung. (Hugging Face LoRA-Dokumentation)
Bewerte die Varianten deshalb anhand unabhängiger Aufgaben und ihres tatsächlichen Ressourcenbedarfs. Das Wort „stabilisiert“ solltest du nicht als Zusage verstehen, dass jeder Trainingslauf konvergiert oder jeder größere Rang bessere Antworten liefert.
Verwandte Begriffe
Zum Vergleich passen Low-Rank Adaptation, DoRA, Hyperparameter, Learning Rate und Parameter-Efficient Fine-Tuning.