Mamba

Mamba bezeichnet eine neuronale Sequenzarchitektur mit selektiven Zustandsraummodellen, deren Zustandsaktualisierung teilweise von der aktuellen Eingabe abhängt. (Gu und Dao) Die ursprüngliche Architektur wurde als Alternative zur Attention-basierten Verarbeitung langer Folgen entwickelt und kommt ohne Attention-Schichten aus. (Gu und Dao)

So kannst du dir das vorstellen

Stell dir eine laufend aktualisierte technische Übersicht vor. Neue Meldungen sollen nicht alle gleich behandelt werden: Manche verändern den relevanten Zustand stark, andere liefern wenig Neues.

Als Bild passt ein Notizsystem, dessen Aktualisierungsregeln auf die eingehende Meldung reagieren. Es entscheidet jedoch nicht bewusst, was „wichtig“ ist. Die Auswahlwirkung entsteht aus gelernten mathematischen Funktionen.

Was „selektiv“ hier bedeutet

Ein State Space Model verarbeitet die aktuelle Eingabe zusammen mit einem fortgeschriebenen internen Zustand. (Mamba-Originalarbeit) Mamba macht bestimmte Größen dieser Verarbeitung inputabhängig, darunter Eingabe- und Ausgabeabbildungen sowie eine Schrittweitengröße, die den Zustandsübergang beeinflusst. (Mamba-Originalarbeit)

Dadurch können unterschiedliche Eingaben unterschiedlich stark übernommen, weitergetragen oder verworfen werden. (Mamba-Originalarbeit) Das ist eine technische Selektivität, kein eingebauter Faktenprüfer und keine Garantie sinnvoller menschlicher Prioritäten.

Effizienz und ihre Grenzen

Die Originalarbeit beschreibt einen hardwareangepassten Scan für die Verarbeitung ganzer Folgen und einen mit der Folgenlänge linear skalierenden Ansatz. (Mamba-Originalarbeit) Bei rekurrenter Generierung bleibt die Größe des fortgeschriebenen Zustands bei fester Modellkonfiguration unabhängig von der bisherigen Folgenlänge. (Mamba-Originalarbeit)

Dieser feste Zustand ist aber keine vollständige Kopie aller vergangenen Tokens; die Arbeit diskutiert gerade den Unterschied zwischen komprimiertem Zustand und dem expliziten Rückgriff der Attention. (Mamba-Originalarbeit) Lange Verarbeitung bedeutet deshalb nicht unbegrenzte, exakte Erinnerung.

„Ohne Attention“ heißt zudem nicht „ohne andere neuronale Bausteine“: Die Originalarchitektur enthält unter anderem lineare Projektionen, Faltungen und Aktivierungen. (Mamba-Originalarbeit) Dieser Artikel beschreibt den ursprünglichen Ansatz; bei konkreten Modellangeboten sollte der tatsächliche Aufbau separat geprüft werden.

Verwandte Begriffe

Passend sind State Space Model, Transformer, Attention, Hidden Size und Kontextfenster.