RTK: Token-Ersparnis vs. echte Kosten

RTK soll KI-Coding billiger machen, indem es Terminal-Ausgaben komprimiert, doch ein eigener Kostentest von quesma.com kommt zu einem gänzlich anderen Schluss: Bei 1.740 Vergleichen im Benchmark Terminal-Bench 2.1 stiegen die durchschnittlichen Kosten pro Aufgabe teils deutlich an, bei DeepSeek um 17 Prozent, obwohl die gemeldete Token-Ersparnis riesig klingt.

Diese Meldung von dieser Woche ist so ein Fall, wo ich erstmal zweimal hingeschaut habe. Das Tool mit dem stolzen Namen „Rust Token Killer” hat über 79.000 GitHub-Sterne, und ein X-Post, der von bis zu 60 Prozent Token-Ersparnis bei Claude Code sprach, kam immerhin auf 313.000 Aufrufe. Klingt nach dem Free Lunch, den alle suchen.

Was macht RTK eigentlich?

RTK filtert und verdichtet die Terminal-Ausgabe, bevor der KI-Agent sie liest. Git-, Test-, Package- und Datei-Befehle, die der Agent über sein Shell-Tool ausführt, landen bei ihm in gekürzter Form. Aus einem vollen ls -la-Eintrag mit Besitzer und Datum wird so eine knappe Zeile mit Dateiname, Größe und Rechten. Logisch gedacht sollte das Token sparen.

Was zeigen die Kosten-Rechnungen?

Quesma testete RTK über mehrere Tage, mit über 1.500 Dollar an Token-Budget, auf dem terminal-lastigen Terminal-Bench 2.1. Das Ergebnis ist eine echte Zwickmühle: Beim Modell Fable sanken die Gesamtkosten um 5 Prozent, bei DeepSeek stiegen sie um 5 Prozent. Aber die Kosten pro einzelner Aufgabe legten in beiden Fällen zu, um 1 Prozent bei Fable, um satte 17 Prozent bei DeepSeek.

Wie passt das zusammen? Ganz simpel: Gesamtkosten und Pro-Aufgaben-Kosten erzählen unterschiedliche Geschichten. Offenbar brauchen die Agenten trotz schlankerer Ausgabe zusätzliche Runden, mehr Iterationen oder liefern am Ende schlechtere Ergebnisse. Quesma fasst es nüchtern zusammen: RTK kann helfen, wirkungslos sein oder nach hinten losgehen.

Was ich mutig finde: Sogar das RTK-README warnt selbst davor. Bis zu 90 Prozent der Bash-Ausgabe herauszuschneiden, heißt ausdrücklich nicht, dass man 90 Prozent an der Rechnung spart. Und der ganze Twist obendrauf, den die Meldung betont: Die gemeldete RTK-Ersparnis betrifft komprimierte Kommandoausgabe, nicht unbedingt die tatsächlich abgerechneten Token. JetBrains’ SkillsBench-Lauf fand übrigens ebenfalls keine Ersparnis.

Ich nehme daraus mit: Weniger Terminal-Output ist ein nettes Werkzeug, keine Kosten-Garantie. Die kompletten Testdetails und die Beispielausgaben im Original gibt es im Beitrag auf quesma.com. Und mich beschäftigt am Ende eine Frage: Wie viele Dev-Tools verkaufen uns aktuell Ersparnisse, die erst unter echten Arbeitslasten messbar werden?

Schreibe einen Kommentar