Was können günstige und kostenlose LLMs wirklich? Brauche ich weiterhin die (teuren) "Frontier"-Modelle?

Die Top 25 Modelle im praxisnahen Benchmark:

Hinweis vorab:

Der Artikel ist eine Momentaufnahme. Die Preise und Modelle ändern sich ständig. Z.B. wollte ich kurz vor Veröffentlichung Antrophics neuestes Modell "Fable 5" auch aufnehmen, weil es dem Anthrophic Marketing sei Danke mega gehyped wird. Leider zu spät, am 12. Juni hat die US Regierung der Nutzung von Claude Mythos / Fable 5 einen Riegel vorgeschoben. Weder direkt über die Claude Code CLI, API noch OpenRouter konnte ich das Modell testen. Sobald ich Zugriff auf das Modell erhalte, ziehe ich das natürlich nach bzw. werde diesen Benchmark immer wieder wiederholen und erweitern wenn solche Meilenstein Updates veröffentlicht werden.

Mein Problem und der Grund für den Benchmark

Ich arbeite täglich mit KI. OpenAI, Anthrophic, Google. Dabei nutze ich sowohl die Multimodalen Features (Claude Design, ChatGPT Image, Nano Banana, FLUX) als auch insbesondere die Textuellen, (z. B. ChatGPT, Gemini, Claude Code, CODEX, GitHub Copilot). Diese "Frontier-Modelle" (= die großen Top-Anbieter) sind ein fester Teil meiner Workflows, beruflich wie privat.

Beruflich lässt sich das rechtfertigen. Bei Kundenprojekten amortisieren sich die Kosten sehr schnell, der Mehrwert (Zeit/Qualität) ist enorm, vorausgesetzt die Modelle werden je nach Use Case sinnvoll eingesetzt.

Bei Nebenprojekten sieht das anders aus. Hundert Euro pro Anbieter und Monat sind ein echtes Thema, wenn das Projekt selbst (noch) kaum bis gar keinen Umsatz generiert (z. B. im Ehrenamt).

Die Frage, die mich seit einer Weile beschäftigt: Was bekomme ich wirklich für diesen Aufpreis? Und was ist mit den günstigeren Alternativen, den kostenlosen Modellen, den Open-Weight-Varianten, die ich sogar auch lokal laufen lassen kann? In meiner Social-Media-Bubble sehe ich (auch hier) sehr viel Buzz. Auf LinkedIn, YouTube, TikTok, X, selbst Facebook (ja, ich habe noch Facebook) werde ich überschwämmt mit "Ich nutze Claude Code komplett kostenlos" oder "das neue XY ist 200% mal besser/schneller als...". Auch über den teils enormen Token-Verbrauch (dazu gleich mehr) wird viel diskutiert.

Benchmarks gibt es dabei viele. Vergleichstabellen, Scoring-Systeme, Prozentangaben. Mir ist das aber zu abstrakt. Vielleicht geht es euch ja genau so? Ich wollte deshalb etwas, das ich direkt sehen und beurteilen kann, ohne Spezialisierung in Statistik, maschinellem Lernen oder KI-Forschung.

Also habe ich einen eigenen Benchmark gebaut. In meiner Freizeit, ohne Sponsoring, mit meinem eigenen KI-Budget. Nicht weil ich musste, sondern weil mich die Frage wirklich interessiert. Spoiler: Am Ende habe ich doch einen bzw. zwei Scores gebaut 😅

Warum teile ich meine Insights?

Abgesehen von "meinem" konkreten Problem glaube ich, dass sich mehr Menschen diese Frage stellen, auch im beruflichen Kontext. Denn die Modelle sind teuer und glaubt man den Analysten von Gartner, dann werden zwar die reinen Token‑Preise bis 2030 um mehr als 90 Prozent sinken, gleichzeitig steigt der Token‑Verbrauch durch komplexe, agentenbasierte Frontier‑Anwendungen aber so stark an, dass die Gesamtkosten für Inferenz am Ende eher steigen als fallen.

Somit werden wir uns meiner Einschätzung nach auch im beruflichen Nutzungskontext die Frage früher oder später stellen müssen, welche und wieviele Modelle wir brauchen, gerade wenn ganze Teams oder Unternehmen 5 - 6 stellige Lizenzkosten verusachen.

Warum das gewählte Setup mit SVG-Grafiken?

Kurzer Exkurs:

Was sind SVG-Grafiken? Im Gegensatz zu klassischen Pixelgrafiken (wie JPEG oder PNG) basieren Scalable Vector Graphics (SVG) auf mathematischen Formeln, Pfaden und Linien.

Nach meiner Recherche ist Generierung von SVGs dafür deshalb ein ungewöhnlich gutes Testszenario:

1. Es fordert nicht nur Code-Kompetenz, sondern räumliches Vorstellungsvermögen. Ein Modell, das einen Pfeil auf der 2-Uhr-Position eines konzentrischen Kreises zeichnen soll, muss Koordinatensysteme verstehen, Vorgaben einhalten und geometrische Konzepte direkt in Code übersetzen. Das nennt sich in der Forschung „Mind's Eye"-Fähigkeit (die Fähigkeit, sich etwas bildlich vorzustellen und in präzise Anweisungen zu übersetzen, Quelle), und es trennt Modelle deutlich stärker als Multiple-Choice-Fragen.

2. Das Ergebnis lässt sich direkt anschauen. Wer das generierte SVG öffnet, sieht sofort, ob das Modell verstanden hat, was gemeint war und wie gut es visuelle Inhalte in Form von mathematischen Formeln darstellen kann.

Die gängigen Benchmarks funktionieren anders:

• MMLU testet Multiple-Choice-Wissen aus Schulbüchern.
• HumanEval misst, ob ein Modell isolierte Algorithmus-Aufgaben löst.
• SWE-bench zählt, wie viele theoretische GitHub-Bugs ein Modell fixen kann.
• LiveCodeBench, ARC, HellaSwag: alles Metriken, die einen Zahlenwert ausspucken, mit denen man die Modelle relativ zu einander zwar vergleichen kann, den man aber nicht ohne Weiteres einordnen kann. Zumindest geht es mir so.

Was bedeutet es konkret, wenn Modell X auf MMLU 3 Prozentpunkte besser abschneidet als Modell Y? Für meine Arbeit: wenig.

SVG ist anders. Das Ergebnis ist ein Bild. Entweder der Pfeil zeigt auf 2 Uhr, oder er tut es nicht.

Der Versuchsaufbau

Bei meinem Versuchsaufbau habe ich mich von Simon Willisons-Ansatz inspirieren lassen, der ähnliche Tests dokumentiert hat. Mein Setup geht aber weiter: drei Schwierigkeitsgrade, vier Effort-Level, automatisiertes Scoring über ein Vision-Language-Model.

Die drei Aufgaben (Schwierigkeitsgrade)

Task 1: Räumliche Logik (Einfach)

Zielscheibe aus fünf konzentrischen Kreisen. Roter Pfeil im zweitinnersten Ring auf der 2-Uhr-Position. Ausschließlich <circle> und <polygon> erlaubt, kein <path>.

Das Constraint (= Einschränkung) ist bewusst gesetzt. Wer trotzdem <path> verwendet, hat die Instruktion nicht befolgt (oder vergessen), egal wie gut das Ergebnis aussieht.

Task 2: Komplexe Geometrie (Mittel)

Klassischer VW Käfer in der Seitenansicht (bin ein Oldtimer-Fan). Korrekte Proportionen, Radkästen, Fenster, metallischer Gradient-Look. Hier geht es darum, ob das Modell Trainingswissen korrekt in Pfad-Daten und Bézierkurven (mathematisch präzise Kurven für weiche Linien in Vektorgrafiken) übersetzen kann. Spoiler: Mit den Formen eines VW Käfers hatten tatsächlich alle Modelle ihre Probleme, ein "Sportwagen" oder einfach nur "Auto" wäre sicherlich einfacher gewesen. Aber das zeigt im Ergebnis um so krasser die Stärken und vor allem Schächen (wie sich herausgestellt hat).

Task 3: Absurde Semantik (Schwer)

Ein Faultier, das einen Bagger steuert. Modernes Flat-Design, saubere Schatten. Zwei unzusammenhängende Konzepte müssen räumlich korrekt zusammengeführt werden. Hier scheitern kleinere Modelle erfahrungsgemäß am deutlichsten. Zumindest war das die Hypothese, denn es gibt keine expliziten Trainingsdaten aus der Realität, die dieses Konzept kombiniert so abbilden (Faultiere fahren in der Regel keine Bagger).

Die Modelle

Insgesamt 25 Modelle in zwei Kategorien (17 bezahlt, 8 kostenlos).

Neu in diesem Vergleich (KW24): Gemini 3.1 Pro, Gemini 3.1 Flash Lite, Qwen3.7 Max, Qwen3.7 Plus, Kimi K2.7 Code und Nex-N2-Pro Free.

Ranking-Methodik: Der QI im Ranking ist der Durchschnitt über alle drei Tasks. Fehlschläge zählen als 0. Ein Modell mit Bestwert 9, aber zwei gescheiterten Tasks, landet bei Ø 3. Das verhindert, dass ein einmaliger guter Run das Gesamtbild verzerrt.

Bezahlte Modelle (17)

Kostenlose Modelle (8)

Alle Modelle bekommen den gleichen Prompt als "One-Shot" (= keine Nachbesserung), kein Systemprompt, kein weiterer Kontext. Alle nutzen den gleichen Kanal (OpenRouter, ein Dienst, der Zugang zu vielen verschiedenen KI-Modellen über eine einheitliche Schnittstelle bietet), theoretisch also exakt gleiche Bedingungen. Alle Requests (= Anfragen) mit dem einheitlichen Parameter reasoning.effort in vier Stufen: low, medium, high, xhigh.

Randnotiz für die AI-Nerds:

• xhigh gibt es nicht immer, heißt auch manchmal max, ist aber das gleiche.
• Anthropic braucht als einziges Modell ein reasoning.max_tokens, weil es wissen muss, wie viel des Gesamt-Budgets für das interne Denken reserviert ist, damit nach dem Thinking-Prozess garantiert noch genug Token-Raum für die eigentliche Antwort übrig bleibt. Wieder was gelernt.

Für die nicht-Nerds:

Tokens sind die kleinsten Einheiten, in die ein KI-Modell Text aufteilt, ungefähr 0,75 Wörter pro Token. Man zahlt bei den Anbietern pro Token, die Maßeinheit ist pro 1 Mio. Input (= der Prompt) und Output (= die Antwort).

Zwei weitere Token-Begriffe spielen in diesem Benchmark eine Rolle:

Das Kontextfenster beschreibt, wie viele Tokens ein Modell auf einmal verarbeiten kann. Ein großes Kontextfenster bedeutet, dass das Modell längere Texte oder ganze Codebases in einem Zug lesen kann. Standard bei den "großen" sind aktuell (Stand Juni 2026) mit 1 Mio. (in Ausnahmen bis zu 2 Mio.) großem Kontext-Fenster ausgestattet.

Der Tokens-per-second-Wert beschreibt die Geschwindigkeit: Wie schnell generiert das Modell seine Antwort? Das ist kein Qualitätsmerkmal, aber ein praktisch relevanter Faktor, besonders in interaktiven Anwendungen, wo man nicht 30 Sekunden (oder länger) auf eine Antwort warten möchte. Deshalb messen wir in diesem Benchmark auch die Time-to-First-Token und die Gesamtgenerierungszeit.

Wenn du mehr zu dem Thema "Tokens" erfahren möchtest, z.B. was das konkret für Auswirkungen hat, lass es mich in den Kommentaren wissen. Hier kann man auch sehr gut testen.

Automatisierte Auswertung

Die Pipeline (sorry für die Nerd-Sprache, "Prozess" trifft es auch) läuft in vier Phasen:

1. Zuerst statische Code-Analyse: Ist das SVG valides XML (eine standardisierte Auszeichnungssprache für strukturierte Daten)? Sind Constraints (= Einschränkungen) eingehalten? Wie hoch ist der Bloat-Score (mehr dazu später)?

2. Dann Screenshot-Generierung via Playwright (ein Tool zur automatischen Browser-Steuerung): Jede SVG wird unsichtbar im Browser gerendert und als PNG (Bilddatei) für einen visuellen Vergleich gespeichert.

3. Danach visuelles Scoring: Claude Opus (Chat GPT oder Gemini können das auch sehr gut) bewertet jedes PNG anhand einer taskspezifischen Rubrik und gibt das Ergebnis im JSON-Format (ein strukturiertes Datenformat) zurück. Kein manuelles Eingreifen.

4. Zuletzt Aggregation: Alle Daten werden zusammengeführt und in zwei Kennzahlen verdichtet, den Qualitätsindex (QI) und den Preis-Leistungs-Index (PLI). Dazu im Folgenden mehr.

Die wichtigsten Kennzahlen

Bevor wir endlich zu den Ergebnissen kommen, kurz noch zur Messmethodik.

Qualitätsindex (QI, 0 - 10)

Der QI fasst vier Dimensionen in einer einzigen Zahl zusammen:

• Syntax-Validität (20 %): Ist das SVG technisch korrekt und lässt sich fehlerfrei im Browser anzeigen?
• Constraint-Einhaltung (25 %): Hat das Modell alle Vorgaben aus dem Prompt befolgt, zum Beispiel kein <path> in Task 1?
• Visuelle Genauigkeit (35 %): Wie gut entspricht das Bild dem, was der Prompt beschrieben hat? Bewertet von Claude Opus als unabhängigem Gutachter. Und nein, es kann nicht voreingenommen zu seinen eigenen Ergebnissen sein, die visuelle Bewertung läuft gesondert, Claude erhält nur die Prompts und Bilder "anonymisiert" ;-)
• Code-Sauberkeit (20 %): Wie viele überflüssige Elemente enthält der Code? Viele Modelle neigen dazu, unnötig viel zu schreiben (sog. Bloat, dazu gleich mehr).

Ein QI von 8+ bedeutet: Das Modell hat den Prompt gut verstanden, die Regeln eingehalten und sauberen Code produziert. Ein QI unter 4 heißt: Das Ergebnis ist kaum als das Beschriebene erkennbar.

Preis-Leistungs-Index (PLI)

PLI = QI geteilt durch die Kosten pro Task in USD. Höher ist besser.

Einfach gesagt: Wie viel Qualität bekomme ich für einen Dollar? Ein Modell mit QI 7 für 0,01 USD/Task hat einen PLI von 7.000. Ein Modell mit QI 8,5 für 0,50 USD/Task hat einen PLI von 170. Das zweite Modell ist besser in absoluter Qualität, aber das erste liefert deutlich mehr pro ausgegebenem Cent.

Kostenlose Modelle werden separat gerankt, weil ihr PLI mathematisch gegen Unendlich geht.

Bloat-Score

Der Bloat misst das Verhältnis zwischen Code-Aufwand und Ergebnis. Ein Wert von 0 bedeutet: sauberer Code, kein überflüssiger Overhead. Je höher der Wert, desto mehr hat das Modell "gelabert", also leere Gruppen, doppelte Koordinaten oder unnötige Wrapper-Elemente (bei SVGs z.B. Gruppen) generiert, ohne dass das Bild dadurch besser geworden wäre. Kleine Modelle neigen besonders dazu, den Code aufzublähen. So zumindest ihr Ruf.

Ergebnisse

Das Wichtigste zuerst

Gemini 3.1 Pro holt die Spitze: Low und High erzielen beide QI 10 in Task 3. Auch Gemini 3.5 Flash Low erreicht QI 10, insgesamt drei Runs mit perfektem Score. Für das Effort-Level gilt: Low und High sind gleichauf (Ø QI 6,2). Max/XHigh (Ø QI 5,6) überschießt und liefert das schlechteste Ergebnis. Das Einfachste ist also auch das Günstigste. Für mich war das tatsächlich ein "Game-Changer"-Insight! Damit hätte ich nicht gerechnet.

Qualität: Frontier vs. Open-Weight

Über alle bezahlten Runs gemittelt: Frontier-Modelle erreichen Ø QI 7,8, Open-Weight-Modelle Ø QI 7,2. Der Abstand ist real, aber kleiner als erwartet, und er hat sich weiter verkleinert.

Bei Task 1 und Task 2 ist er besonders gering. Bei Task 3 trennt sich das Feld deutlicher. Gemini 3.1 Pro und Gemini 3.5 Flash (Frontier) erreichen QI 9–10, Qwen3 Coder (Open-Weight) QI 4–6.

Top 5 nach Ø QI über alle drei Tasks:

Drei Runs mit perfektem Score, alle von Google. Dabei frage ich mich, ob "Flash" in dem Zusammenhang nicht irreführend ist. 3.1 Flash Lite ist die günstige Einstiegsvariante, deutlich schwächer. Aber 3.5 ist insgesamt so viel besser, dass selbst die Flash-Variante andere Pro-Modelle schlägt. Und 3.1 Pro erreicht jetzt denselben Spitzenwert.

Der Haken: Gemini Flash produziert massenhaft Code. Bloat-Score bis 23 bei Task 2 High. Das gilt für 3.1 Pro genauso: Bloat bis 14. Das Ergebnis ist gut, aber der Weg dorthin ist ineffizient.

Gemini 3.1 Pro: Spitze zu Flash-Preis

Gemini 3.1 Pro Low kostet durchschnittlich $0,063 pro Task, nahezu identisch mit Gemini 3.5 Flash Low ($0,064), und erzielt denselben Ø QI von 9,3. Wer auf die niedrigste Effort-Stufe setzt, bekommt mit 3.1 Pro keine Einbuße. 3.1 Pro High ($0,29 pro Task) ist dagegen deutlich teurer als Flash High ($0,19) bei gleicher Qualität. Die Preisanomalie liegt also beim High-Effort: Flash ist die effizientere Wahl.

DeepSeek V4 Pro: Frontier-Qualität für Open-Weight-Preise

Das ist die größte Preisanomalie im Benchmark.

• Sonnet 4.6 High erzielt bei Task 1 QI 9 für 0,12 USD.
• DeepSeek V4 Pro Max erzielt bei Task 1 ebenfalls QI 9, für 0,015 USD. Der Faktor: 7,8×.

Bei Task 3 ist es noch deutlicher.

• DeepSeek V4 Pro Low: QI 9 für 0,016 USD.
• Gemini Flash Low: QI 10 für 0,07 USD.
• Gemini 3.1 Pro Low: ebenfalls QI 10 für 0,068 USD.

Für die meisten Anwendungsfälle ist der Qualitätsunterschied zwischen 9 und 10 irrelevant, der Preisunterschied aber nicht. DeepSeek ist lokal über Ollama betreibbar. Das macht es zum stärksten Kandidaten für alle, die Kosten oder Datenschutz priorisieren.

Task 3 ist nicht die schwerste Aufgabe

Die Hypothese war: Je absurder das Szenario, desto schlechter schneiden Modelle ab. Die Daten widerlegen das teilweise.

Mehrere Modelle erzielen bei Task 3 (Faultier auf Bagger) deutlich bessere Ergebnisse als bei Task 1 (Zielscheibe mit Constraint).

• DeepSeek V4 Pro Low: Task 1 = QI 7, Task 3 = QI 9.
• GLM-5 Low: Task 1 = QI 7, Task 3 = QI 9.
• DeepSeek V4 Flash Medium: Task 1 = QI 7, Task 3 = QI 9.

Warum? Task 1 hat ein hartes Constraint: kein <path>. Das erfordert präzises Instruktions-Following. Task 3 lässt mehr Freiheit. Modelle können kreativ sein, ohne gegen eine Regel zu verstoßen. Das liegt ihnen offenbar besser.

GLM-5 (Zhipu): das unbekannteste gute Modell im Test

Wenige kennen es. Die Daten sind überzeugend.

Task 3 Low: QI 9 für 0,012 USD. Task 3 High: QI 9 für 0,011 USD. Task 1 High: QI 8 für 0,015 USD. Konsistent gut, konsistent günstig. Besser als Haiku 4.5 in allen Tasks, zu einem Bruchteil der Kosten.

Wer Anthropic-Qualität für Nicht-Anthropic-Preise sucht und chinesische Anbieter in Betracht zieht, sollte GLM-5 testen.

Kimi K2.7 Code (Moonshot AI) zieht ähnlich: Task 3 QI 9 für $0,021 (Medium) und $0,018 (XHigh). Ebenfalls kaum bekannt, ebenfalls chinesischer Anbieter, etwas stärker bei höheren Effort-Levels als GLM-5.

Kosten und Preis-Leistung

Der teuerste einzelne Run: GPT-5.5 XHigh Task 2 mit 0,6869 USD. Der günstigste bezahlte Run: Llama 3.3 70B Low Task 1 mit 0,00005 USD. Faktor: 13.740×. Der Qualitätsunterschied: QI 9 vs. QI 5. Für einfache geometrische Aufgaben ist der Preis nahezu irrelevant. Für komplexe Geometrie zahlt GPT-5.5 XHigh einen sehr hohen Preis für marginal bessere Ergebnisse.

Der PLI dreht das Bild. Llama 3.3 70B Low erzielt PLI 92.593 (QI 5 / 0,00005 USD). Unter Modellen mit QI 7+: DeepSeek V4 Pro Low Task 3 (QI 9 / 0,016 USD = PLI 559) ist der effizienteste Weg zu hoher Qualität.

Für GPT-5.5 Task 2: Low→XHigh kostet 5,4× mehr (0,13 → 0,69 USD), der QI bleibt konstant bei 9.

Token-Verbrauch: Wer schreibt am meisten für das wenigste?

SVG-Generierung produziert viel Output. Interessant ist nicht die Rohmenge, sondern das Verhältnis: Qualität pro ausgegebenem Token.

Der Median-Output über alle gültigen Runs liegt bei 3.872 Tokens. MiniMax M3 High Task 2 produziert 52.584 Tokens, das 14-fache des Medians, bei QI 6. Zum Vergleich: GLM-5 Low Task 1 kommt mit 233 Tokens auf QI 7. Das ist der Unterschied zwischen einem Modell, das präzise antwortet, und einem, das das gleiche Ergebnis in 226-mal so vielen Zeichen verpackt. In der Realität spielt das aus verschiedenen Perspektiven eine Rolle:

• Kosten: Bei einem günstigen, einigermaßen schnellen Modell tut es "weniger" weh, dass es viel "labert". Spürbar wird es trotzdem, sobald man in großem Maßstab arbeitet.
• Nachhaltigkeit: Jeder Token, den ein Modell generiert, kostet Rechenleistung und damit Strom. Diese Energie fällt bei jeder einzelnen Anfrage erneut an (Inferenz). Ein Modell, das für das gleiche Ergebnis 14× mehr Tokens schreibt, verursacht pro generiertem Bild auch einen entsprechend höheren Rechenaufwand. Wer Nachhaltigkeit als Kriterium ernst nimmt, sollte Token-Effizienz mitbewerten, nicht nur Qualität und Preis. Ein pauschales Urteil "Anbieter X ist unökologischer" lässt sich daraus aber nicht ableiten. Der tatsächliche Fußabdruck hängt zusätzlich von Strommix, Rechenzentrum und Hardware ab, nicht allein von der Token-Zahl.

Geschwindigkeit: Wer antwortet am schnellsten?

Für interaktive Anwendungen ist die Time-to-First-Token (TTFT, die Zeit bis das erste Zeichen erscheint) entscheidend. Wer länger als 2–3 Sekunden wartet, verliert Nutzer. So wie im Prinzip auch im Web mit den Core Web Vitals. Ist ein Modell immer langsamer als andere bei vergleichbarer Qualität und Kosten, wählt man natürlich eher eines, das schneller ist. So wie auch im Web. Man nutzt eine langsamere Website nur so lange es keinen Wettbewerb gibt, und das ist bei KI Agenten - so zeigt es ja schon dieser Test mit 25 Modellen - heute auch schon. Wenn ich zu gleichen Kosten ein vergleichbares Ergebnis schneller bekomme, warum dann warten?

Qwen3 Coder ist das schnellste Modell: TTFT 0,3 Sekunden bei Task 1 (XHigh und High).

Am anderen Ende: MiniMax M3 High Task 2 mit 762,9 Sekunden TTFT (12,7 Minuten bis zum ersten Zeichen). Der Faktor zwischen schnellstem und langsamstem TTFT liegt bei 2.543×.

MiniMax M3 hat damit ein grundsätzliches Latenzproblem. Die Qualität ist solide (Task 3: QI 8–9), aber mehr als 13 Minuten für eine SVG-Generierung ist kein Edge Case, das ist der Normalfall bei Task 2. Für Batch-Verarbeitung (= dem Systemmatischen Abarbeiten von Aufgaben ohne Menschlichen Eingriff) über Nacht akzeptabel, für interaktive Anwendungen nicht. Poolside Laguna ist ähnlich unbrauchbar: Task 1 High braucht 462 Sekunden bei QI 3–6. Zum Vergleich: Qwen3 Coder Low generiert Task 1 in 2,3 Sekunden.

Gesamtgenerierungszeit und TTFT korrelieren nicht immer. Manche Modelle starten schnell, schreiben dann aber sehr lange. Das ist für Batch-Verarbeitung (= das systematische Abarbeiten von Aufgaben ohne Human-in-the-Middle) weniger relevant, für Live-Anwendungen schon.

An der Stelle muss ich schon mal vorab auf meinen Disclaimer am Ende hinweisen: Ich bin kein AI-Lab und habe keinen Einfluss auf die Rechenleistung der Anbieter, OpenRouter und co. Was jetzt zu einer so langen Latenz geführt hat, kann morgen schon besser (oder schlechter) sein. Mein Benchmark ist eine Moment-Aufnahme. Aber was ich kontrollieren kann ist das Setup, und das ist 100% identisch und reproduzierbar.

Effort-Level: Ab wann bringt mehr Reasoning nichts mehr?

Innerhalb einer Modellfamilie zeigt sich ein klares Muster.

Die Kosten steigen mit jedem Effort-Level. Die Qualität nicht linear:

• Low und High: gleichauf (Ø 6,2).
• Medium: leicht schwächer (6,1).
• Max/XHigh: fällt auf 5,6, das schlechteste Level.

Bei GPT-5.5 Task 2 kostet der Weg von Low nach XHigh 5,4× mehr, der QI bleibt konstant bei 9. Overthinking tritt konkret auf:

• Opus 4.8 bei Task 1 erreicht mit Medium QI 9 und mit Max QI 8.
• Sonnet 4.6 bei Task 1: Low = QI 8, Medium = QI 7, High = QI 9.

Praktische Konsequenz: low ist der Sweet Spot, gleiche Qualität wie high (beide Ø 6,2), niedrigere Kosten. medium ist leicht schwächer. xhigh/max kostet ein Vielfaches und ist das schlechteste Effort-Level, lohnt sich für direkte Coding-Aufgaben nicht. Die Use Cases sind wohl eher Analyse, Planung, Refactoring usw., aber das wäre ein weiterer Test.

Ich würde sogar soweit gehen, dass teilweise die Qualität bei den Max/XHigh sogar schlechter war. Z.B. war teilweise Medium noch gut, High / XHigh nicht mehr, und war Low / Medium schon schlecht, dann war es das High / XHigh auch, nur schöner verpackt. Böse formuliert: Shit vs. Premium Shit.

Kostenlose Modelle: Wie groß ist der Abstand wirklich?

Die kostenlosen Modelle wurden separat ausgewertet. Sie dienen als untere Qualitätsgrenze und als Antwort auf die Frage: Wie viel zahle ich eigentlich für Priority-Access? Das eigentliche Problem der Free-Tier-Modelle ist aber nicht die Qualität, sondern die Zuverlässigkeit.

Von den 270 Runs im gesamten Benchmark sind 41 fehlgeschlagen, und zwar ausschließlich im Free-Tier (Qwen Free 24, Llama Free 12, GPT-OSS Free 3, Gemma Free 2). Kein einziges bezahltes Modell ist permanent ausgefallen. Einzelne bezahlte Runs (u.a. Gemini 3.1 Pro Medium bei Task 2) lieferten beim ersten Versuch leeren Output, kamen aber im Wiederholungslauf sauber durch.

Drei Vergleiche zeigen trotzdem, was qualitativ möglich ist:

Qwen3 Coder (kostenlos) vs. Qwen3 Coder (bezahlt): Der direkte Vergleich ist nicht möglich: alle Free-Tier-Runs von Qwen3 Coder Free schlugen fehl (API 503).

GPT-OSS 120B Free vs. GPT-5.5: Task 3 QI 5 vs. QI 8–9. GPT-OSS Free lieferte bei den schweren Tasks auf High und XHigh zudem reproduzierbar (zweimal getestet) leeren Output, kein SVG, also ein echter Fehlschlag. Der Abstand ist deutlich.

Gemma 4 31B Free vs. Gemini 3.5 Flash: Gemma überrascht jetzt über alle drei Tasks. Task 1: QI 8 (High und Low). Task 2: QI 7–8 über alle Effort-Level. Task 3: QI 7–8. Gemini Flash: Task 3 QI 9–10. Der Abstand ist real, aber nicht dramatisch. Gemma deutet auf Timing-bezogene Rate-Limits hin, nicht auf grundsätzliche Qualitätsprobleme des Modells.

Nex-N2-Pro Free: Das stärkste kostenlose Modell in der aktuellen Erweiterung. Task 2 Low und High: QI 9, besser als alle anderen Free-Tier-Modelle für mittelschwere Geometrie. Task 3 High: ebenfalls QI 9. Einschränkung: Task 1 Low und Medium fehlgeschlagen (keine gültige SVG).

Constraint-Einhaltung: Wer folgt Instruktionen zuverlässig?

Kein einziges Modell hat in Task 1 das explizit verbotene <path>-Element verwendet. Die Constraint-Einhaltung war bei allen auswertbaren Task-1-Runs bei 100%. Alle Modelle haben die Instruktion befolgt, unabhängig von Größe, Anbieter oder Effort-Level. Das ist ein bemerkenswertes Ergebnis, mag aber sicherlich an der überschaubaren Aufgabenstellung liegen (kurzer Prompt, keine Nachbesserungen, kein zugelaufenes Kontextfenster durch "zu viel" Input). Das wäre einen weiteren Test wert 😉

Auffälligkeiten und Anomalien

• Token-Bloat: MiniMax M3 High Task 2 generiert 52.584 Tokens, 14× über dem Median, bei QI 6. Das teuerste Verhältnis aus Code und Ergebnis im gesamten Benchmark.
• Latenz: Qwen3 Coder XHigh/High hat die schnellste TTFT: 0,3 Sekunden. MiniMax M3 High Task 2 braucht 762,9 Sekunden TTFT, 2.543× länger.
• Preisanomalie: DeepSeek V4 Pro Max erzielt bei Task 1 QI 9 für 0,015 USD. Sonnet 4.6 High erzielt ebenfalls QI 9 für 0,119 USD. Faktor: 7,8× teurer für identischen QI.
• Ausreißer nach unten: DeepSeek V4 Pro Low Task 2: QI 2, ungültiges SVG, kein Rendering möglich. Schlechtestes Ergebnis aller bezahlten Modelle. Zu wenig Reasoning-Budget bei komplexer Geometrie kann zu komplettem Versagen führen.
• xmlns-Near-Miss: In 7% aller Runs fehlt die Namespace-Deklaration xmlns="http://www.w3.org/2000/svg". Das SVG hat korrekte Inhalte, wird aber ohne xmlns von den meisten modernen Browsern nicht gerendert. Kein Qualitätsfehler im engeren Sinn, aber ein konsistentes Muster quer durch alle Preisklassen: Gemini 3.1 Pro, Kimi K2.7 Code, Qwen3.7 Plus, GPT OSS 120B Free und Nex-N2-Pro Free sind alle betroffen. Günstige Modelle haben kein Monopol auf diesen Flüchtigkeitsfehler.
• Halluzinations-Muster: Mehrere Modelle produzieren syntaktisch korrektes SVG, das semantisch nicht erkennbar ist. Ein Käfer ohne Räder. Ein Faultier, das frei in der Luft schwebt.
• Mehrere Anläufe nötig: u.a. bei Gemini 3.1 Pro (Medium), Kimi K2.7 Code (Medium), Nex-N2-Pro Free (Low, Medium), Qwen3.7 (Low), DeepSeek V4 Pro (Low) und GPT OSS 120B Free (High, XHigh) mussten mehrere Anläufe gestartet werden, weil deren Response leer war. Das ist per se kein Fehler vom Modellanbieter oder OpenRouter, zeigt aber, dass quer durch die Anbieter Requests fehlschlagen können, was - wenn es häufiger passiert - frustiert und die "Experience" selbst bei guten Ergebnissen dämpft.

Was bedeutet das in der Praxis?

Niedrige Kosten, akzeptable Qualität: DeepSeek V4 Flash Medium, GLM-5 Low oder Qwen3 Coder High für einfache Tasks. QI 5–8 für unter $0.002/Task. Gut für Massenverarbeitung.

Höchste Qualität: Gemini 3.1 Pro Low oder Gemini 3.5 Flash Low. Beide: Ø QI 9,3, beide Ø ~$0,064/Task. Gemini 3.5 Flash Medium/High: konsistent QI 9.

Bestes Preis-Leistungs-Verhältnis (bezahlt): DeepSeek V4 Pro Low bis Medium für Task 3, GLM-5 für alle Tasks. Frontier-nahe Qualität für Open-Weight-Preise.

Latenz-kritische Anwendungen: Qwen3 Coder Low (2,3s Task 1), GLM-5 Low (4,9s Task 1), Haiku 4.5 Low (8,3s). Alle mit akzeptablem QI (5–7).

Open-Weight lokal: DeepSeek V4 Flash oder GLM-5. Betreibbar via Ollama, QI 7–9 erreichbar, keine Cloud-Abhängigkeit.

Einschränkungen

Ich bin kein AI-Lab und habe kein institutionelles Budget. Dieser Benchmark ist in meiner Freizeit entstanden, selbst finanziert, ohne Sponsoring. 270 Requests, einmal durchgeführt, kein Averaging über Tageszeiten. Externe Faktoren wie OpenRouter-Auslastung und Routing-Latenz sind nicht kontrollierbar.

Für einen wissenschaftlich belastbaren Benchmark müsste das Setup mehrfach wiederholt werden. Das war aus Zeit- und Kostengründen nicht möglich.

Alle Rohdaten und auch das gesamte Setup stelle ich öffentlich auf Codeberg zur Verfügung. Wer das reproduzieren oder erweitern will: das Setup ist dokumentiert.

Fazit

Frontier-Modelle sind nicht automatisch besser. Gemini 3.1 Pro und Gemini 3.5 Flash teilen die Spitze: beide erreichen QI 10. Gemini 3.5 Flash Low bleibt günstiger, Gemini 3.1 Pro Low ist preislich auf gleichem Niveau und überzeugt ebenfalls. DeepSeek V4 Pro erreicht Frontier-Qualität für ein Zehntel des Preises. GLM-5, kaum bekannt, schlägt Haiku 4.5 in allen Tasks.

Was mich am meisten überrascht hat: Max/XHigh ist das schlechteste Effort-Level. Der Sweet Spot ist low, gleiche Qualität wie high (beide Ø 6,2), niedrigere Kosten. Das korrigiert das Bild von "mehr Compute = besser".

Der Abstand zwischen Frontier (Ø QI 7,8) und Open-Weight (Ø QI 7,2) beträgt nur noch 0,6 Punkte. Qwen3.7 Max und Kimi K2.7 Code erreichen QI 9 in Task 3 zu Open-Weight-Preisen.

Mein persönliches Learning: Die Frage "Welches Modell ist das beste?" ist die falsche Frage. Richtig ist: "Welches Modell ist für welche Aufgabe, bei welchem Effort-Level, zu welchem Preis akzeptabel?" Für einfache geometrische Tasks ist Llama 3.3 70B Low fast umsonst und liefert QI 5. Für komplexe Semantik braucht es mehr. Aber nicht zwingend ein Frontier-Modell.

Die Ausgangsfrage war, ob sich die 100 € pro Anbieter und Monat für private Projekte lohnen. Die Antwort: Kommt darauf an. Für einfache bis mittlere Aufgaben: nein. Für komplexe semantische Generierung mit hohen Qualitätsanforderungen: ja, aber dann sind Gemini 3.1 Pro Low, Gemini 3.5 Flash Low oder DeepSeek Pro die günstigere Alternative zu Claude Opus oder GPT-5.5.

Ein Aspekt, den jeder für sich entscheiden muss

Rein nach Zahlen ist der Fall klar: Man kann auf die chinesischen Modelle wechseln. Sie sind günstiger, liefern vergleichbare Qualität und sind teilweise selbst hostbar. Ein Punkt gehört aber auf den Schirm, und den muss jeder für sich selbst bewerten: die Herkunft der Fähigkeiten.

Anthropic hat Ende 2025 in einem Bericht dargelegt, dass DeepSeek, Moonshot AI und MiniMax über rund 24.000 Fake-Konten etwa 16 Millionen Interaktionen mit Claude erzeugt haben sollen, gezielt so gestaltet, dass sich die Antworten als Trainingsdaten eignen (all-ai.de, 1e9.community). Anthropic nennt das "Destillation im industriellen Maßstab" (ComputerBase, FAZ). OpenAI und Microsoft erheben ähnliche Vorwürfe in Richtung DeepSeek bezogen auf OpenAI-Modelle (WinFuture). Als Reaktion haben OpenAI, Anthropic und Google das "Frontier Model Forum" gegründet, unter anderem um solche Distillation-Angriffe zu erkennen (Hintergrund).

Wichtig zur Einordnung:

Das sind dokumentierte Vorwürfe mit konkreten Zahlen, keine rechtskräftigen Urteile. Die betroffenen Anbieter legen ihre Trainingsdaten nicht offen. Und fair bleibt der Hinweis, dass auch westliche Foundation-Modelle massiv aus dem offenen Web geschöpft haben, und das ist auch gerichtlich dokumentiert (Strafzahlungen, Verbote usw.).

Ich werte das hier nicht. Aber wer die Anbieterwahl trifft, sollte den Aspekt kennen und für sich gewichten. Eine rein technische oder preisliche Entscheidung ist es nicht.

Alle Daten zum Download:

Hier die vollständigen Ressourcen:

• Vollständiger Artikel (PDF, 3,6 MB) : https://brdg.mn/llm-benchmark-artikel
• Gerenderte Ergebnisse (PDF, 75 MB): https://brdg.mn/llm-benchmark-ergebnisse
• Diagramme (PDF, 3 MB): https://brdg.mn/llm-benchmark-diagramme
• Tabellen (PDF, 0,2 MB): https://brdg.mn/llm-benchmark-tabellen
• Setup, Code und vollständige Rohdaten (CSV) auf Codeberg: https://codeberg.org/thebrdgmn/llm-benchmark