---
term: "SwiGLU"
slug: "swiglu"
glossar_id: "G076"
variants: []
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Gating-basierte Aktivierungsstruktur für Feed-Forward-Blöcke."
sources:
  - label: "Shazeer"
    url: "https://arxiv.org/pdf/2002.05202"
  - label: "MoE-Erklärung"
    url: "https://huggingface.co/blog/moe"
status: "entwurf"
updated: "2026-09-20"
---

SwiGLU ist eine Variante eines gegateten Feed-Forward-Bausteins, die eine Swish-Aktivierung mit einer komponentenweisen Multiplikation zweier gelernter Projektionen kombiniert. ([Shazeer](https://arxiv.org/pdf/2002.05202)) Der Name verbindet „Swish“ mit „Gated Linear Unit“, einer Struktur zur wertabhängigen Modulation von Informationen. ([Shazeer](https://arxiv.org/pdf/2002.05202))

## So kannst du dir das vorstellen

Stell dir zwei Zahlenlisten vor, die aus derselben Auftragsbeschreibung berechnet werden. Eine enthält aufbereitete Merkmale, die andere beeinflusst, wie diese Merkmale weitergegeben werden. Jeweils zusammengehörige Einträge werden miteinander multipliziert.

Als vereinfachtes Bild ähnelt das einer Reihe von Reglern vor der nächsten Verarbeitung. Die Regler sind allerdings keine gewöhnlichen Lautstärkeknöpfe zwischen null und hundert Prozent: Die verwendeten mathematischen Werte sind nicht auf diesen Bereich beschränkt. ([Shazeer](https://arxiv.org/pdf/2002.05202))

## Zwei Zweige und eine Rückprojektion

In der beschriebenen FFN-Variante wird die Eingabe zunächst durch zwei unterschiedliche gelernte Zahlenmatrizen umgerechnet; diese Umrechnungen heißen Projektionen. ([Shazeer](https://arxiv.org/pdf/2002.05202)) Einer der Zweige durchläuft die Swish-Funktion, danach werden die Zweige komponentenweise multipliziert und durch eine dritte Matrix auf die gewünschte Ausgabebreite abgebildet. ([Shazeer](https://arxiv.org/pdf/2002.05202))

Swish multipliziert einen Wert mit einer geglätteten, sigmoidalen Funktion dieses Werts; im beschriebenen SwiGLU wird der zugehörige Swish-Parameter auf eins gesetzt. ([Shazeer](https://arxiv.org/pdf/2002.05202)) Das erzeugt eine kontinuierliche Aktivierung und keinen bloßen Ein-Aus-Schalter. ([Shazeer](https://arxiv.org/pdf/2002.05202))

## Gating ist hier keine Expertenauswahl

Das Gate moduliert Komponenten einer internen Darstellung; es wählt keine einzelnen MoE-Experten aus. ([SwiGLU-Originalarbeit](https://arxiv.org/pdf/2002.05202), [MoE-Erklärung](https://huggingface.co/blog/moe)) Zwei Architekturtexte können daher beide von „Gating“ sprechen und unterschiedliche Mechanismen meinen.

SwiGLU verwendet in der beschriebenen FFN-Konstruktion drei statt zwei Gewichtsmatrizen; für faire Vergleiche passt die Originalarbeit die innere Breite an. ([Shazeer](https://arxiv.org/pdf/2002.05202)) Die Bezeichnung allein erlaubt somit weder eine feste Aussage über die Parameterzahl noch über den Geschwindigkeitsgewinn. Vergleiche den vollständigen Baustein statt nur den Namen seiner Aktivierung.

## Verwandte Begriffe

Vertiefend passen **Feed-Forward Network**, **Expert Router**, **Hidden Size**, **Model Parameters** und **Transformer**.