Tinyworldformer bringt zwei kleine neuronale Netze auf einen Raspberry Pi Pico 2 W, die ein Spiel gleichzeitig erzeugen und spielen, was heißt: Der Spielinhalt entsteht beim Zocken neu, statt als fertiger Code auf dem Board zu liegen. Das World Model sagt aus dem aktuellen Bildschirmausschnitt und der gewählten Aktion den nächsten Bildschirmausschnitt samt Belohnung vorher, während das zweite Netz dem erzeugten Bild ansieht, welchen Zug es als Nächstes macht.
Ich habe Picos bisher für LED-Bänder und Sensor-Kram benutzt; ein Modell mit zwei Netzen auf dem winzigen Mikrocontroller, darauf wäre ich nicht gekommen. Beschrieben ist dieser Kreislauf in der Projektseite auf GitHub, die Meldung zu SheepSebs Tinyworldformer kursiert diese Woche über die koreanische Entwickler-Community news.hada.io.
Wie passen zwei neuronale Netze auf einen Pico 2 W?
Mit einem Transformer in Schleifenform, der die Gewichte desselben Blocks mehrfach benutzt, statt für jede Stufe eigene Parameter zu parken. Genau diesen Wiederverwendungs-Trick nennt die Projektseite als Baustein des Systems. Wie groß beide Netze konkret sind und wie viel Speicher der Pico 2 W belegt, steht in dem Text nicht, der mir vorliegt. Die Meldung bleibt hier also ein Versprechen ohne Vorführung der Zahlen.
Was ist ein World Model und warum reicht Vorhersage hier als Spiel?
Ein World Model ist das gelernte Innenleben einer Umgebung: Es antwortet auf die Frage, was passiert, wenn ich jetzt diesen Knopf drücke. Im Tinyworldformer-Loop sagt es den nächsten Bildschirmausschnitt und die Belohnung voraus, das Aktionsnetz schaut auf dieses Vorhersagebild und wählt daraus den nächsten Zug, wodurch beide Netze sich gegenseitig am Laufen halten. Das Spiel existiert dabei nirgends festgeschrieben, nur als fortlaufende Simulation der beiden Netze.
Der Auszug der Meldung ist dünn, und das gehört zur ehrlichen Einordnung dazu: Alle Aussagen stammen aus der Selbstbeschreibung des Autors in seinem eigenen Repository, Eigenwerbung bei einem Hobby-Projekt inklusive. Benchmarks, Modellgrößen oder ein Vergleich zu einem PC-World-Model fehlen komplett, gelobt werden darf hier also erst mal nur die Existenz des Loops auf Pico-Größe.
Meine Interpretation: Der Witz steckt nicht im Spiel, sondern in den wiederverwendeten Gewichten. Wer einen Block hundertmal durchrechnet statt hundert Blöcke einmal, holt Modelle auf Hardware, die bisher gut für Tastatur-Macros und Wetterstationen war, und genau dort frage ich mich, wie lange es dauert, bis jemand einen Pico-Countercontroller mit zwei Netzen statt mit Firmware baut.