DeepSeek V3 in purem JAX: 190 Zeilen Code, 36,2 Millionen Parameter, 2,6 Stunden auf dem MacBook Air

190 Zeilen reiner JAX-Code, 36,2 Millionen Parameter, rund 2,6 Stunden Trainingszeit: Das Projekt deepseek-v3-jax von Entwickler Vaibhaav Tiwari bildet die DeepSeek-V3-Architektur nach und trainiert das Mini-Modell komplett auf einem MacBook Air, was heißt: Die Architektur eines modernen LLMs verstehen und selbst von Grund auf trainieren geht auch ohne GPU-Cluster. Der Nachbau von DeepSeek V3 kommt ohne PyTorch, Flax oder Equinox aus und bringt MLA, DeepSeekMoE und Multi-Token-Prediction in einem einzigen kleinen Code unter.

  • Aus dem Paper übernommen: MLA, DeepSeekMoE, Experten-Balance ohne Hilfs-Loss und Multi-Token-Prediction.
  • Hardware laut Projektseite: ein MacBook Air M5 mit 24 GB Arbeitsspeicher.
  • Fortschritt: Validierungs-Loss von 5,02 nach 250 Schritten, am Ende 3,51.
  • Datengrundlage: Kriminalromane aus der Public Domain.

Was steckt in den 190 Zeilen JAX-Code?

deepseek-v3-jax ist ein handgeschriebener Nachbau der DeepSeek-V3-Architektur in purem JAX. Statt Bausteinen wie Flax, Equinox oder PyTorch nutzt der Autor ausschließlich Dictionary-Arrays und Funktionen. Der Code deckt damit die wichtigsten Strukturen des Papers ab: MLA, DeepSeekMoE, lastfreie Experten-Balance und Multi-Token-Prediction. Kein Framework-Boilerplate, kein vorgefertigter Trainer.

Beim ersten Lesen hab ich kurz geschluckt, denn 190 Zeilen sind bei mir normalerweise eine Datei Config plus zwei Dateien Debugging. Diese Meldung hier ist offenbar anders.

Wie gut ist das Ergebnis nach 2,6 Stunden Training?

Das Mini-Modell mit 36,2 Millionen Parametern senkte den Validierungs-Loss von 5,02 nach 250 Schritten auf 3,51 zum Schluss, wie das Projekt-Repository angibt. Trainiert wurde etwa 2,6 Stunden auf einem MacBook Air M5 mit 24 GB RAM; als Korpus dienten Kriminalromane aus der Public Domain.

Zusätzlich verteilt ein Routing-Bias pro Experte die Last gleichmäßig auf alle Experten, ebenfalls laut Repository. Ein Vergleich des Validierungs-Loss nach 2.000 Schritten mit und ohne Bias wird im Text zwar angekündigt, der konkrete Wert fehlt dort aber.

Ein Validierungs-Loss von 3,51 auf Krimis bedeutet nicht, dass das Modell gute Wendungen schreibt, sondern erst mal nur, dass die Architektur lernt. Bedenken sollte man außerdem: Alle Zahlen stammen aus dem Repository des Autors selbst, eine unabhängige Nachprüfung gibt es bislang nicht.

Braucht man für LLM-Experimente noch einen GPU-Cluster?

Ein GPU-Cluster bleibt für große Modelle unersetzlich; für Verständnis und Experimente zeigt deepseek-v3-jax, dass ein einzelnes Notebook mit 24 GB RAM für ein von Grund auf trainiertes 36-Millionen-Parameter-Modell reicht. Der Mehrwert des Projekts liegt damit weniger im Ergebnis als in der Didaktik: 190 Zeilen als Kompletteinblick in Mixture-of-Experts.

Läuft DeepSeek V3 jetzt auf jedem MacBook? Nein. deepseek-v3-jax ist ein 36-Millionen-Parameter-Nachbau der Architektur, kein lauffähiges Original; genannt ist zudem ein M5-Gerät mit 24 GB RAM.

Warum eigentlich ohne PyTorch? Der Verzicht ist Teil des Experiments: Das Modell besteht nur aus Dictionaries von Arrays und Funktionen. Für den Produktivbetrieb wäre das nichts, zum Nachvollziehen der Paper-Struktur lädt der Code aber gerade deshalb ein.

Der komplette Code liegt im Repository deepseek-v3-jax auf github.com, der zugehörige Erfahrungsbericht auf der Autorenseite vaibhaav.in. Mich lässt vor allem eine Frage zurück: Wenn 190 Zeilen für MLA und Mixture-of-Experts reichen, was hält dann noch jemanden davon ab, diese Woche ein eigenes 30-Millionen-Modell anzuleiern?

Schreibe einen Kommentar