Gemini 4 Neon von Google führt den Models Engineering Index (Mei) mit 68,1 Punkten an und liegt 1,8 Punkte (68,1 gegenüber 66,3) vor Anthropic Fable 5.2, was heißt: Bei praktischer Ingenieursarbeit hat Google gerade die Nase vorn, aber knapp. Gemini 4 Neon erreicht im Models Engineering Index 68,1 Punkte und steht damit auf Platz 1 von 20 gelisteten Modellen. Der Index ist ein zusammengesetzter Wert aus zehn Coding-Benchmarks, bei dem ein durchschnittliches Modell bei 50 Punkten landet, wie die Projektseite git-aarvin.github.io beschreibt.
Ich hatte OpenAI 6.2 Astra mit 62,0 Punkten eher weiter vorn auf dem Zettel. Direkt dahinter folgen Anthropic Opus 5.5 mit 60,8 und Google 4 Carbon mit 60,6 Punkten, und auf den übrigen Rängen der öffentlichen Liste stehen Modelle von Alibaba, Moonshot, Meta und DeepSeek. Aufgefischt hatte ich den Link über den Aggregator hadA, veröffentlicht hat ihn eine private Projektseite, kein Labor der gelisteten Firmen. Der Zeitpunkt der Erhebung bleibt allerdings unklar.
Was misst der Models Engineering Index?
Der Models Engineering Index misst die praktische Leistung von Sprachmodellen bei Ingenieursaufgaben. Die Projektseite berechnet den Wert als zusammengesetzten Index über zehn Coding-Benchmarks, angepasst an Schwierigkeit und fehlende Ergebnisse, sodass ein typisches Modell bei 50 Punkten liegt. Kosten und Tokenverbrauch laufen nach demselben Muster, angezeigt als Vielfaches des typischen Modells mit 1,0.
Welche konkreten Aufgaben hinter den zehn Benchmarks stecken, verrät git-aarvin.github.io nicht, und ohne diese Info bleibt die Vergleichbarkeit der Punktzahlen für mich ein Weichmacher. So sehen die Top 5 der Rangliste aus:
| Modell | Punkte | Kosten (1× = typisches Modell) |
|---|---|---|
| Gemini 4 Neon | 68,1 | 1,6× |
| Anthropic Fable 5.2 | 66,3 | 5,9× |
| OpenAI 6.2 Astra | 62,0 | 1,5× |
| Anthropic Opus 5.5 | 60,8 | 3,6× |
| Google 4 Carbon | 60,6 | 1,7× |
Was kostet Gemini 4 Neon im Vergleich zu Fable 5.2?
Der Models Engineering Index beziffert Gemini 4 Neon mit dem 1,6-Fachen der typischen Kosten und Anthropic Fable 5.2 mit dem 5,9-Fachen. Beim Tokenverbrauch steht Gemini 4 Neon bei 0,83-fach, Fable 5.2 bei 2,1-fach. Absolute Preise in Dollar oder Euro nennt der Index nicht, nur diese Relativwerte.
Am günstigsten listet die Rangliste 6 Luna mit 0,063-fachen Kosten, am teuersten 4-Max mit dem 7,1-Fachen, und OpenAI 6.2 Astra bleibt mit 0,31-fachem Tokenverbrauch der Sparsamste der Spitze. Anthropic Fable 5.2 zahlt 5,9-fache Kosten für 66,3 Punkte, Gemini 4 Neon liefert 68,1 Punkte für 1,6-fache Kosten.
Meine Interpretation: Die Punktzahlen sind ein ordentlicher Kompass, aber ein Kompass ohne Landkarte, weil die Methodik hinter den zehn Benchmarks offen bleibt. Lohnt sich der zweite Platz mit 66,3 Punkten und dem 5,9-Fachen an Kosten noch für Teams, die pro Aufgabe abrechnen, oder nur für den Screenshot im Changelog?