Titelbild: KI-generierte redaktionelle Illustration von Archivschränken, die sämtlich Platz beanspruchen, während nur wenige Schubladen offen sind. Eine Metapher für gespeicherte Kapazität und selektive Nutzung, kein Modelldiagramm oder vermessener Serveraufbau.
Kurzfassung: Der ursprüngliche DeepSeek-V3-Bericht nennt 671 Milliarden gesamte und 37 Milliarden pro Token aktive Parameter; Qwens Modellkarte für Qwen3-30B-A3B nennt insgesamt 30,5 Milliarden und 3,3 Milliarden aktive Parameter.[5][6] Eine ideale 16-Bit-Darstellung aller 30,5 Milliarden Qwen-Gewichte umfasst 61 dezimale GB, vor Cache, Laufzeitumgebung und sonstigem Zusatzbedarf. Selektive Aktivierung verändert, welche Gewichte rechnen, nicht die Notwendigkeit eines Speicherplans für die übrigen.
Ein Mixture-of-Experts-Modell bringt zwei attraktive Zahlen mit. Eine bewirbt die Kapazität eines großen Netzes. Die andere suggeriert den Rechenaufwand eines kleineren. Beide können stimmen, während ein Käufer trotzdem falsch einschätzt, was auf seinen Server passt.
Diese Analyse vom 9. November 2026 erklärt den Unterschied anhand historischer Veröffentlichungen. Mixtrals Ankündigung erschien am 11. Dezember 2023, das Paper folgte am 8. Januar 2024. Der DeepSeek-V3-Bericht erschien erstmals am 27. Dezember 2024, der Qwen3-Bericht am 14. Mai 2025. Keines dieser Modelle wird hier als Neuerscheinung oder neuestes Modell dargestellt.[3][4][5][7]
Die eigentliche Geschichte ist nicht, dass dünne Aktivierung Kosten beseitigt. Sie verteilt Kosten auf Arithmetik, Speicherung, Routing und Kommunikation. Infrastrukturkäufer müssen alle vier verstehen, bevor sie aus einer Modellkarte einen Kapazitätsplan machen.
Warum das jetzt wichtig ist
Die Angabe aktiver Parameter kann ein Modell mit offenen Gewichten kleiner erscheinen lassen als den tatsächlich zu platzierenden Checkpoint. Kapazitätsplanung muss bei sämtlichen Gewichten beginnen und anschließend das konkrete Arbeitsvolumen hinzufügen. Sonst wird eine korrekte Architekturangabe zu einer falschen Kaufannahme.
Die Architektur: Ein Router wählt Arbeit aus, keinen dauerhaften Besitz
Die Arbeit zu selektiv aktivierten MoE-Schichten vom Januar 2017 beschreibt bedingte Berechnung: Ein Gating-Netz wählt für eine Eingabe eine Teilmenge von Expertennetzen.[1] Hilfreich ist das Bild einer großen Werkstatt, die jeden Auftrag an ausgewählte Stationen schickt. Dass manche Stationen bei einem Auftrag ruhen, entfernt sie nicht aus der Werkstatt.
Mixtral macht den Unterschied konkret. Das Paper beschreibt acht Feedforward-Experten pro MoE-Schicht, von denen für jedes Token zwei ausgewählt werden. Gemeinsam genutzte Netzbestandteile liegen außerhalb dieser Auswahl.[4] Deshalb sind „zwei von acht Experten“ nicht als exakter Speicheranteil des Gesamtmodells zu interpretieren.
Mistrals Veröffentlichung nennt insgesamt 46,7 Milliarden Parameter und 12,9 Milliarden pro Token verwendete Parameter. Das sind Architekturangaben des Anbieters.[3] Sie beschreiben unterschiedliche Bezugsgrößen. Die aktive Zahl hilft, den sparsamen Rechenpfad zu verstehen. Die Gesamtzahl ist nötig, um die vollständige Speicherung der Gewichte zu beurteilen.
Zum Lesen aller Spalten seitlich scrollen.
| Historisches Modell | Gesamte Parameter laut Anbieter | Pro Token aktive Parameter laut Anbieter | Was daraus nicht folgt |
|---|---|---|---|
| Mixtral 8x7B | 46,7 Mrd. | 12,9 Mrd. | Minimaler Serverspeicher oder gemessene Latenz.[3] |
| Ursprüngliches DeepSeek-V3 | 671 Mrd. im Hauptmodell | 37 Mrd. | Minimaler Serverspeicher oder gemessene Latenz.[5] |
| Qwen3-30B-A3B | 30,5 Mrd. | 3,3 Mrd. | Minimaler Serverspeicher oder gemessene Latenz.[6] |
Quellen: die historischen Veröffentlichungen, Berichte und Modellkarten der Anbieter. Ausschließlich Architekturinventar, keine Rangliste der Inferenzleistung. Die Parameterzahl des V3-Hauptmodells spezifiziert nicht die Größe eines Downloads, der zusätzlich ein Hilfsmodul zur Vorhersage enthält.
Der Speicher: Sämtliche Gewichte setzen den Ausgangspunkt
Eine einfache theoretische Rechnung multipliziert die Parameterzahl mit den Bits pro Gewicht und teilt durch acht. Würden alle 30,5 Milliarden Qwen-Gewichte einheitlich mit 16 Bit dargestellt, betrüge die reine Nutzlast 61 Milliarden Byte, also 61 dezimale GB. Die aktive Parameterzahl ergäbe dagegen 6,6 GB. Das beschreibt jedoch nicht die Speicherung des vollständigen Modells.
Bei idealen einheitlichen 8 Bit belegten dieselben Gesamtgewichte 30,5 GB. Bei ideal gepackten 4 Bit wären es 15,25 GB. Das sind rechnerische Darstellungen, keine gemessenen Checkpoints, unterstützten Quantisierungsverfahren oder belegten Hardwareanforderungen. Tatsächliche Formate enthalten Skalierungsfaktoren, Metadaten und mitunter Tensoren unterschiedlicher Präzision.
Berechnete Gewichtsnutzlast
Dieselben 30,5 Milliarden Gesamtgewichte ergeben ideal 61 GB bei 16 Bit
Qwens Gesamtparameterzahl laut Anbieter bleibt konstant. Nur die hypothetische einheitliche Darstellung ändert sich. Ein dezimales GB entspricht 1.000.000.000 Byte.
Einheitliche 16-Bit-Gewichte
Einheitliche 8-Bit-Gewichte
Ideal gepackte 4-Bit-Gewichte
Rechnung von LLM Rumors: 30,5 Milliarden Gesamtparameter aus der Qwen-Modellkarte × Bits / 8. Ohne Quantisierungsmetadaten, gemischte Präzision, KV-Cache, Aktivierungen, Arbeitsbereiche, Replikation und Laufzeitumgebung. Keine VRAM-Messung, Betriebsempfehlung oder Evidenz für gleiche Qualität bei jeder Präzision.
Dieser Ausgangspunkt ist bewusst unvollständig. Ein Modell, dessen Gewichte in den Gesamtspeicher passen, kann trotzdem zu wenig Reserve für gleichzeitige Anfragen haben. Zu klären ist, wie der vollständige Betriebszustand bei den vorgesehenen Aufgaben gespeichert und bewegt wird.
Das System: Sparsame Arithmetik erzeugt Planungsarbeit
Switch Transformers, erstmals im Januar 2021 eingereicht, behandelt Routing-Komplexität, Kommunikation und Trainingsinstabilität als zentrale Hürden für dünn aktivierte Modelle.[2] Diese Vorgeschichte erklärt, warum ein attraktives Parameterverhältnis nie ein ebenso attraktives Laufzeitverhältnis garantierte.
MegaBlocks, veröffentlicht im November 2022, adressiert dynamische Arbeitsformen im MoE-Training durch blocksparse Operationen. Zur Motivation gehört der Zielkonflikt zwischen verworfenen Token und aufgefüllten Berechnungen.[8] Die begrenzte Lehre für die Beschaffung lautet: Software und Arbeitsplanung zählen. Ein Trainingssystemergebnis ist keine universelle Aussage über die Geschwindigkeit im Betrieb.
Bei verteilter Bereitstellung kann die Platzierung der Experten Übertragungen zwischen Geräten erzeugen. Bei Auslagerung können Gewichte aus langsameren Speichern oder dem Hauptspeicher bewegt werden. Ein ausgewählter Experte muss bereitstehen, wenn sein Token ihn erreicht. Solche Konstruktionen können sinnvoll sein, ihre Kapazitätsvorteile sind aber zusammen mit Übertragungsverzögerungen und Parallelität zu prüfen. „Die Gewichte brauchen einen Speicherplan“ bedeutet nicht, dass jedes Gewicht zu jedem Zeitpunkt auf einer einzigen GPU liegen muss.
Die Kapazität: Kontext und Parallelität erzeugen eine weitere Rechnung
DeepSeek-V2s Bericht vom Mai 2024 stellt latente Aufmerksamkeit zur Kompression des KV-Caches neben seiner Expertenarchitektur vor.[9] Das ist ein eigenständiger Mechanismus. Dünne Gewichtsaktivierung verkleinert nicht automatisch den Gesprächsspeicher, und eine Cache-Optimierung beseitigt nicht den vollständigen Gewichtsbestand.
Für Unternehmen verändert diese Trennung den Abnahmetest. Eine kurze Einzelbenutzerdemonstration misst einen anderen Betriebspunkt als viele gleichzeitige lange Sitzungen. Kapazität ist für die tatsächlichen Kontextlängen, Ausgabelängen und die Parallelität vorzuhalten. Temporäre Puffer und das Platzierungsverhalten des Serving-Frameworks gehören dazu. Ein Speichermangel ist ein Systemergebnis, kein Beleg für eine falsche aktive Parameterzahl in der Modellkarte.
Qwen3s technischer Bericht beschreibt außerdem einen Mechanismus zur Steuerung des Denkbudgets.[7] Zusätzliche generierte Denkschritte können Zeit- und Tokenverbrauch verändern, ohne den benannten Checkpoint zu ändern. Architektur, Anfragerichtlinie und Arbeitsvolumen bestimmen gemeinsam den Betrieb und gehören gemeinsam ins Evaluationsprotokoll.
Der Kauf: Den eingesetzten Arbeitsablauf bewerten
Verlangen Sie ein Inventar aller Gewichte, des numerischen Formats, der Expertenplatzierung, der Gerätezahl, des Cache-Budgets und der Parallelitätsgrenze. Messen Sie anschließend die akzeptierte Geschäftsaufgabe. Festzuhalten sind Modellrevision, Hardware, Eingabe- und Ausgabelängen, Decoding-Einstellungen, Batchgröße, Zeit bis zum ersten Token, Latenz am langsamen Ende und Benchmark-Umgebung. Bei spekulativem Decoding gehört die Akzeptanzrate dazu.
Ohne diese Bedingungen ist ein plakativ verglichener Geschwindigkeitswert lediglich ein Paar Betriebssignale. Dieser Artikel enthält bewusst keine Durchsatzrangliste. Teams können dieselbe Parameterzahl in sehr unterschiedlichen Systemen einsetzen und unterschiedliche Kosten erhalten. Das Architekturetikett entscheidet keinen Kauf, der von Auslastung und Verlässlichkeit abhängt.
Aktive Parameter sind keine Speicherspezifikation
Gesamtparameter beschreiben den vollständigen erlernten Gewichtsbestand. Aktive Parameter beschreiben die Teilmenge auf dem Rechenpfad eines Tokens. Keine der Zahlen spezifiziert allein den vollständigen VRAM-Bedarf, Durchsatz oder die Kosten einer akzeptierten Aufgabe. Gewichtsspeicher, Laufzeitzustand und gemessenes Serviceverhalten sind im Kapazitätsmodell getrennt zu halten.
Die unbequeme Wahrheit: Dünn aktivierte Modelle belohnen Betreiber, die Systeme verstehen. Offene Gewichte geben Kontrolle, aber dazu gehört die Verantwortung für Speicherung und Arbeitsplanung. Die kleinere aktive Zahl kann das Verhältnis von Rechenaufwand und Nutzen verbessern. Die Infrastrukturrechnung unterschreibt sie nicht allein.
Quellen und Referenzen
Zum Lesen aller Spalten seitlich scrollen.
| Nr. | Quelle | Datum | Bedeutung |
|---|---|---|---|
| [1] | Die selektiv aktivierte Mixture-of-Experts-Schicht · Shazeer et al. | 2017-01-23 | Bedingte Berechnung erweitert die Kapazität, ohne jeden Experten für jede Eingabe zu verwenden. |
| [2] | Switch Transformers · Fedus, Zoph and Shazeer | 2021-01-11 | Dünn aktivierte Modelle bringen Herausforderungen bei Routing, Kommunikation und Trainingsstabilität. |
| [3] | Mixtral of Experts: Veröffentlichung · Mistral AI | 2023-12-11 | Mistral nennt 46,7 Milliarden gesamte und 12,9 Milliarden aktive Parameter. |
| [4] | Mixtral of Experts: Forschungsbericht · Jiang et al. | 2024-01-08 | Jede MoE-Schicht leitet jedes Token an zwei von acht Experten. |
| [5] | Technischer Bericht zu DeepSeek-V3 · DeepSeek-AI | 2024-12-27 | Der ursprüngliche V3-Bericht nennt 671 Milliarden gesamte und 37 Milliarden aktive Parameter. |
| [6] | Modellkarte zu Qwen3-30B-A3B · Qwen | Geprüft am 09.11.2026 | Die Modellkarte nennt 30,5 Milliarden gesamte und 3,3 Milliarden aktive Parameter sowie 128 Experten, davon acht ausgewählt. |
| [7] | Technischer Bericht zu Qwen3 · Yang et al. | 2025-05-14 | Qwen3 umfasst dichte und MoE-Modelle sowie einen Mechanismus für das Denkbudget. |
| [8] | MegaBlocks · Gale et al. | 2022-11-29 | Blocksparse Rechenkerne adressieren dynamisches Routing und den Aufwand durch Auffüllen. |
| [9] | DeepSeek-V2 · DeepSeek-AI | 2024-05-07 | Latente Aufmerksamkeit adressiert den KV-Cache unabhängig von der Expertenaktivierung. |
Zuletzt aktualisiert: 9. November 2026
