Terminal-Bench 4.0

Terminal-Bench 4.0 ist ein Agentic-Benchmark mit 66 langen, containerisierten Terminal-Aufgaben aus sieben Bereichen von Software über Science und ML bis Hardware.

Terminal-Bench 4.0 misst, ob KI-Agenten lange, realistische Aufgaben im Terminal selbstständig zu Ende bringen. Jede der 66 Aufgaben läuft in einem eigenen Container und dreht sich um ein konkretes Ergebnis: einen laufenden Service, einen Beweis, ein CAD-Modell, ein trainiertes Modell oder einen forensischen Bericht. Ein Verifier prüft am Ende den Zustand der Umgebung. Gewertet wird nur, wenn alle Tests bestehen; Teilpunkte gibt es nicht.

Die Aufgaben verteilen sich auf sieben Bereiche: Software (18), Science (14), ML (11), Operations (9), Hardware (5), Security (5) und Media (4). Fast drei Viertel liegen damit außerhalb der klassischen Softwareentwicklung. Den Aufwand für Fachleute schätzen die Task-Autoren im Median auf 4 Stunden, die Spanne reicht von 45 Minuten bis 60 Stunden. Der Agent hat pro Aufgabe bis zu 8 Stunden Zeit.

Version 4.0 erschien am 26. August 2026 und baut auf Terminal-Bench 3.0 mit 74 Aufgaben auf. Die Maintainer haben 8 Aufgaben entfernt, weil sie gesättigt waren, Refusals auslösten, öffentlich gelöst waren oder Qualitätsprobleme hatten. 19 weitere wurden korrigiert, Zeit, CPU und RAM je Aufgabe neu kalibriert. Mit den 89 Aufgaben von Terminal-Bench 2.1 gibt es keine Überschneidung, die Werte sind also nicht zwischen den Versionen vergleichbar.

Das Ergebnis hängt stark vom Agenten-Harness ab. Die offizielle Rangliste auf tbench.ai führt Kombinationen aus Modell und Agent, etwa Claude Code, Codex oder Grok Build. Die Werte auf dieser Seite stammen deshalb aus der einheitlichen Messung von Vals AI: Alle Modelle laufen mit dem minimalen mini-swe-agent, der nur ein Bash-Tool hat, gewertet wird der Mittelwert aus drei Durchläufen. Wenn du Modelle für lange Agenten-Aufgaben vergleichst, zeigt der Benchmark deutliche Abstände: Selbst Spitzenreiter Claude Opus 5.5 scheitert dort an gut einem Drittel der Aufgaben (Stand 13. Oktober 2026).

Der Benchmark hat Schwächen. Epoch AI hat Version 4.0 im September 2026 als „Flawed“ eingestuft, weil bei 30 der 66 Aufgaben (45,5 %) Bewertungsfehler öffentlich dokumentiert sind: Manche Verifier lassen sich austricksen, andere lehnen plausible Lösungen ab. Hinzu kommen Provider-Effekte. Bei Vals AI wurden 22 von 198 Versuchen von Claude Opus 5.5 per Fallback von älteren Claude-Modellen bearbeitet; ohne sie sinkt der Wert von 65,15 % auf 58,08 %. Für Version 4.1 kündigen die Maintainer robustere Verifier an.