MLX

MLX ist ein Framework für maschinelles Lernen, das auf Mac-Rechnern mit gemeinsamem Speicher von Prozessor und Grafikeinheit ausgelegt ist. Arrays liegen dort in einem Speicher, auf den beide Recheneinheiten zugreifen, weshalb Daten nicht zwischen Gerätespeichern kopiert werden müssen. MLX

Der gemeinsame Speicher prägt den Entwurf

Auf üblichen Systemen mit getrennten Speichern ist die Zuordnung von Daten zu einem Gerät eine ständige Aufgabe. Fällt sie weg, kann eine Rechnung dort ausgeführt werden, wo es gerade passt, ohne Umkopieren. Apple Für den Betrieb größerer Modelle auf einem Notebook ist das der entscheidende Vorteil: Es gilt die Gesamtspeichergrenze, nicht die einer Grafikkarte.

Die Schattenseite ist die Bandbreite, die unter der dedizierter Karten liegt, sowie ein kleineres Ökosystem. Modelle liegen in einem eigenen Format vor und müssen dafür umgewandelt werden.

So kannst du dir das vorstellen

Eine Küche, in der Vorratsraum und Arbeitsfläche derselbe Raum sind. Kürzere Wege, dafür teilen sich alle denselben Platz. Das Bild erklärt den Entwurfsgedanken, es vergleicht keine Geräte.

Was es in der Praxis konkret bedeutet

Wenn du auf einem Mac mit viel Speicher arbeitest, ist das neben den Werkzeugen aus dem ggml-Umfeld die zweite naheliegende Option, besonders für Anpassungstraining kleiner Modelle, das auf dieser Hardware sonst kaum möglich wäre. Prüfe vorher, ob dein Modell im passenden Format vorliegt, und rechne mit langsamerer Ausgabe als auf einer dedizierten Karte.

Wo es verwechselt wird

MLX ist kein Werkzeug mit Oberfläche, sondern eine Bibliothek zum Programmieren. Und es ist nicht die einzige Möglichkeit, Modelle auf dieser Hardware zu betreiben: Die verbreiteten lokalen Laufzeitumgebungen laufen dort ebenfalls.

Verwandte Begriffe

Unified Memory, llama.cpp, Local LLM, Memory Bandwidth, Fine-Tuning, CUDA.