Ein Memdoor-Team aus fünf Qwen3.8-27B-Agenten hat die ersten zehn Aufgaben von LiveCodeBench Hard in 49 von 50 Läufen gelöst und dabei im Schnitt 9,8 Punkte pro Aufgabe geholt. Das GitHub-Repo zum Projekt stellt diesen Wert zwei Vergleichswerten gegenüber: 9,6 Punkte für den Harness der ursprünglichen Forschenden und 8,0 Punkte für Fable 5 im Alleingang, was heißt: Fünf kleinere Modelle in sauber verteilten Rollen hängen hier ein starkes Einzelmodell ab.
Die Besetzung des Teams hat mich mehr gepackt als die Punktzahl. Im Beispiel team-solve teilen sich ein Planer, zwei Ideengeber, ein Löser und ein Manager die Arbeit, und jeder der fünf Agenten startet laut Projektseite in einem komplett frischen Kontext. Fünf Fremde also, die ein Coding-Problem bearbeiten wie einen Standup, zu dem jeder nur seine eigene Notiz mitbringt.
Was macht der Memdoor-Workflow Team-Solve anders als ein großes Einzelmodell?
Memdoor Team-Solve ist ein Multi-Agenten-Workflow mit fünf festen Rollen: Ein Planer zerlegt die Aufgabe, zwei Ideengeber schlagen getrennt voneinander Lösungswege vor, ein Löser setzt um, ein Manager prüft und steuert die Schritte. Jeder Agent sitzt dabei in einem eigenen, frischen Kontext, wie das Beispiel auf github.com zeigt. Der doppelte Ideengeber ist dabei der eigentliche Clou: Führt ein Vorschlag in die Irre, liegt die zweite Idee noch auf dem Tisch.
Der Kniff ist handwerklich statt magisch: Statt auf das nächste große Modell zu warten, verteilt der Workflow die Arbeit. Ob er jenseits von Coding-Benchmarks trägt und ob unabhängige Nachbauten die 9,8 Punkte bestätigen, steht noch aus.
Hat Fable 5 den Vergleich damit wirklich verloren?
Rechnerisch ja, methodisch bleibt ein Vorbehalt: Das Memdoor-Team erreichte laut GitHub-Repo im Schnitt 9,8 Punkte und scheiterte nur einmal in 50 Läufen, während Fable 5 allein auf 8,0 kam. Für einen belastbaren Beweis fehlt ein unabhängiger Nachbau, denn die Messwerte stammen aus dem Repository der Person, die Memdoor selbst entwickelt hat. Eigenwerbung bei einem eigenen Benchmark ist selten neutral.
| Ansatz | Ergebnis laut GitHub-Repo |
|---|---|
| Memdoor-Team, fünf Qwen3.8-27B-Agenten | 49 von 50 Läufen erfolgreich, Ø 9,8 Punkte |
| Harness der ursprünglichen Forschenden | Ø 9,6 Punkte |
| Fable 5 im Alleingang | Ø 8,0 Punkte |
Kurz beantwortet
- Welches Modell steckt in dem Memdoor-Team? Fünf Agenten auf Basis von Qwen3.8-27B, verteilt auf Planer, zwei Ideengeber, Löser und Manager.
- Wie oft wurde jede Aufgabe getestet? Die ersten zehn Aufgaben von LiveCodeBench Hard liefen jeweils fünfmal, 49 dieser 50 Versuche waren erfolgreich.
- Warum startet jeder Agent ohne Altlasten? Das team-solve-Beispiel lässt jede Rolle bewusst in einem neuen Kontext antreten, damit Fehlschlüsse aus früheren Schritten nicht mitwandern.
Wer den Workflow nachvollziehen will, findet ihn als Beispiel team-solve im Memdoor-Repository auf github.com. Meine Interpretation: Der stärkste Befund dieser Meldung ist nicht die Niederlage von Fable 5, sondern dass fünf frisch angesetzte Kontexte mit klaren Rollen mehr herausholen als ein einzelnes Modell.
Wenn fünfmal frischer Kontext gegen schiere Modellgröße gewinnt: Wo genau hört eigentlich die Modellqualität auf und fängt gute Projektorganisation an?