Active Parameters

Active Parameters sind im Kontext sparsamer Mixture-of-Experts-Modelle die Parameter, die für die Verarbeitung eines einzelnen Tokens tatsächlich herangezogen werden. (Hugging Face) Dazu gehören die ausgewählten Experten und die jeweils gemeinsam verwendeten Modellteile, nicht sämtliche vorhandenen Expertengewichte. (Hugging Face)

So kannst du dir das vorstellen

Stell dir eine Werkstatt mit vielen Maschinen vor. Für einen einzelnen Auftrag läuft nur ein Teil davon, während gemeinsame Einrichtungen ebenfalls gebraucht werden. Die Größe des Maschinenparks und die Ausstattung, die gerade arbeitet, sind zwei unterschiedliche Angaben.

So unterscheiden sich Gesamtparameter und aktive Parameter. Der Vergleich erklärt den selektiven Einsatz, nicht den tatsächlichen Stromverbrauch oder die Laufzeit eines bestimmten Modells.

Eine Beispielrechnung mit klarer Grenze

Nehmen wir rein schematisch einen MoE-Baustein mit vier gleich großen Experten und einer Auswahl von zwei Experten pro Token. Für diesen Baustein wird dann nur die Hälfte der Expertenparameter verwendet.

Das bedeutet noch nicht, dass das gesamte Modell nur zur Hälfte aktiv wäre. Gemeinsame Attention-Schichten, weitere Modellteile und gegebenenfalls Shared Experts kommen hinzu. (Hugging Face, DeepSeek-V2) Außerdem können verschiedene Tokens unterschiedliche Experten auswählen, sodass über eine längere Folge mehr Experten beteiligt sind als bei einem einzelnen Token. (Hugging Face)

Weniger aktiv heißt nicht entsprechend weniger Speicher

Die übrigen Experten verschwinden durch ihre momentane Nichtauswahl nicht aus dem Modellbestand; ihre Gewichte müssen für spätere Auswahl verfügbar sein. (Hugging Face) Deshalb kann ein Modell mit vergleichsweise wenigen aktiven Parametern trotzdem einen erheblichen Speicherbedarf für seine gesamten Gewichte haben. (Hugging Face)

Auch die reale Geschwindigkeit hängt nicht allein von der aktiven Parameterzahl ab, weil MoE-Ausführung unter anderem Routing, Auslastung und Kommunikation zwischen Geräten einschließt. (Hugging Face) Verwende die Zahl deshalb als Architekturinformation, nicht als direkte Hardwareempfehlung.

Bei Modellvergleichen sollten Gesamtparameter, aktive Parameter pro Token und die tatsächlich benötigte Betriebsumgebung getrennt ausgewiesen werden. So bleibt sichtbar, welche Größe gerade verglichen wird.

Verwandte Begriffe

Hierzu passen Model Parameters, Mixture of Experts, Expert Router, Shared Expert, Dense Model und Expert Parallelism.