OSWorld-Verified — Übersicht

OSWorld-Verified ist ein Benchmark zur Bewertung multimodaler KI-Agenten. Der Benchmark umfasst 369 Aufgaben mit echten Web- und Desktop-Anwendungen wie Chrome, LibreOffice, GIMP, VS Code und Thunderbird, die durch Evaluationsskripte automatisch bewertet werden. Menschliche Probanden erreichen im OSWorld-Verified Benchmark eine Erfolgsrate von 72,36 %, während die besten KI-Agenten-Systeme inzwischen auch über 70 % erzielen können.

Paper GitHub Blog Post Leaderboard Dataset

Beispielaufgaben aus dem OSWorld-Verified Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im OSWorld-Verified Benchmark vorkommen.

Please help me change all the places in this document that say "text" to "test".

Use VS Code's find-and-replace to change all instances of 'text' to 'test' in the file and save. Evaluated by comparing the modified file against a gold standard version using compare_text_file.

Could you fill the background layer with green color, leaving the object layer as is?

In GIMP, select the background layer and fill it with green color while keeping the object layer unchanged. Evaluated by perceptual image hash comparison against reference output.

Fill all the blank cells in B1:E30 with the value in the cell above it.

In LibreOffice Calc, select range B1:E30 and fill each blank cell with the value from the cell directly above it. Evaluated by comparing the resulting spreadsheet against a gold standard file.

Please help me set the current user's line length for code wrapping to 50 characters in VS Code.

Set editor.wordWrapColumn to 50 in VS Code user settings at /home/user/.config/Code/User/settings.json. Evaluated by JSON settings validation checking the exact parameter value.

On the current website, show me the cars available for pickup at Boston Logan Intl Airport from the 10th to the 11th of next month, sorted by the number of seats to find the largest capacity.

Navigate the car rental website in Chrome to search for vehicles at Boston Logan Intl Airport with the specified dates, then sort results by seat capacity. Evaluated by checking the final browser state and displayed results.

Ähnliche Benchmarks

Diese Benchmarks messen ähnliche Fähigkeiten wie der OSWorld-Verified Benchmark.

APEX-Agents

APEX-Agents (AI Productivity Index for Agents) ist ein Benchmark zur Bewertung, ob KI-Agenten langfristige, anwendungsübergreifende Aufgaben ausführen können. Die Aufgaben spezialisieren sich auf Anwendungsgebiete im Investmentbanking, der Unternehmensberatung und im wirtschaftsrechtlichen Bereich. APEX-Agents umfasst 480 Aufgaben in 33 "Worlds". Eine "World" stellt eine möglichst realitätsnahe Arbeitsumgebungen dar, in der Agenten mit Dateien und Tools wie Dokumenten, Tabellen, E-Mail, Chat und Kalendern interagieren müssen. Die Evaluation erfolgt über binäre "Bestanden" / "Nicht Bestanden" Kriterien, die von Domänenexperten mit langjähriger Berufserfahrung entwickelt wurden. Zur Veröffentlichung des Benchmarks erreichte das Top-Modell nur einen Score von 24%. Der Benchmark zeigt damit eine Lücke in der realen Anwendung von agentischen KI-Systemen auf.

Agentische Aufgaben

Arena.ai

Arena.ai (ehemals "LMArena" oder "LMSYS Chatbot Arena") ist eine Community-basierte Benchmark-Plattform für grosse Sprachmodelle. Auf Arena.ai können menschliche Nutzer Prompts an die Evaluierungsplattform stellen. Im Gegenzug werden zwei Outputs verschiedener, nicht bekannter LLMs ausgegeben, die von dem Nutzer in Gewinner und Verlierer bewertet werden. Die gesammelten Stimmen werden mittels eines Bradley-Terry-Modells zu Elo-ähnlichen Bewertungen aggregiert und in einem öffentlichen Leaderboard dargestellt. Seit dem Start im April 2023 hat die Plattform mehr als 6 Millionen User-Votes gesammelt und mehr als 400 unterschiedliche Modelle bewertet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Anleitung & Kreativität
Multimodalität

Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein Meta-Benchmark, der keine eigenen Fragen enthält, sondern die Ergebnisse von zehn unabhängigen Benchmarks aggregiert: GDPval-AA (220 Aufgaben), tau2-Bench Telecom (114 Aufgaben), Terminal-Bench Hard (44 Aufgaben), SciCode (338 Teilprobleme), AA-LCR (100 Fragen), AA-Omniscience (6.000 Fragen), IFBench (294 Aufgaben), Humanity's Last Exam (2.158 Fragen), GPQA Diamond (198 Fragen) und CritPt (70 Aufgaben). Dabei gewichtet der Index die Benchmarks in vier Kategorien zu jeweils 25%: Agents, Coding, General und Scientific Reasoning. Durch die breite Abdeckung soll der Index die Generalisierungsfähigkeiten von LLMs widerspiegeln und die Gesamtkapazität der Modelle auf dem Weg zu AGI einordnen. Die Tests sind rein textbasiert und auf Englisch. Über alle Teilbenchmarks wird das pass@1-Scoring, also die Wahrscheinlichkeit, dass das erste Ausgabeergebnis korrekt ist, verwendet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Wissenschaft
Agentische Aufgaben
Anleitung & Kreativität

BrowseComp

BrowseComp ist ein Benchmark von OpenAI zur Bewertung von KI-Agenten. Der Benchmark testet die LLMs darin, schwierig auffindbare und miteinander verflochtene Informationen im Internet zu recherchieren. BrowseComp ist die Abkürzung von Browsing Competition. BrowseComp umfasst insgesamt 1.266 Fragen, deren Antworten zwar kurz und leicht verifizierbar sind, deren Auffinden jedoch komplexes, bzw. kreatives Recherchieren im Internet erfordert. Dies bezeichnet man als "Verifikations-Asymmetrie". Die Fragen aus BrowseComp wurden von menschlichen Entwicklern so konstruiert, dass sie weder von bestehenden KI-Modellen noch von Menschen innerhalb von zehn Minuten lösbar sind. Zum Veröffentlichungszeitpunkt von BrowseComp erreichte selbst das beste nicht-agentische Modell (OpenAI-o1) nur einen Score von 9,9%. Mit dem spezialisieren Deep Research Harness konnten im gleichen Zuge hingegen 51,5% erzielt werden.

Wissen & Sprache
Agentische Aufgaben

CyberGym

CyberGym ist ein Cybersecurity-Benchmark, der die Fähigkeiten von KI-Agenten bei der Analyse von Software-Schwachstellen bewertet. CyberGym umfasst 1.507 existierende Schwachstellen aus 188 Open-Source-Projekten, die aus Googles OSS-Fuzz-Kampagne stammen. Die Aufgabe für die LLMs besteht darin, anhand einer Beschreibung der Schwachstelle und des ungepatchten Quellcodes einen Proof-of-Concept (PoC) zu entwickeln, der die Schwachstelle reproduziert. Das Ziel ist es also nicht, einen Fix für die Schwachstelle zu entwickeln, sondern einen PoC zu schreiben, der die Schwachstelle reproduziert und den Fehler auslöst. Über das reine Benchmarking hinaus hat CyberGym zur Entdeckung von 35 Zero-Day-Schwachstellen und 17 neuen Software-Patches geführt. CyberGym wird von der UC Berkeley entwickelt und maintained.

Cybersecurity
Programmierung
Agentische Aufgaben

GAIA

GAIA ist ein Benchmark für "General AI Assistants", der insgesamt 466 Fragen umfasst. Die Aufgaben sind konzeptionell einfach für Menschen, aber schwierig für KI-Systeme zu beantworten. Zum Bearbeiten der Aufgaben werden Fähigkeiten wie Reasoning, multimodale Verarbeitung der Inputs, Web-Browsing und Tool-Nutzung benötigt. GAIA ist in 3 Schwierigkeitsstufen (Level 1-3) unterteilt. Die Aufgaben von Level 1 wurden so konzipiert, dass zur Veröffentlichung von GAIA aktuelle LLMs die Aufgaben gut bewältigen konnten. Level 3 Aufgaben setzten einen signifikanten Sprung in den Modell-Kapazitäten voraus. Antworten auf die Fragen des GAIA-Benchmarks sind eindeutige, kurze Strings, die automatisch verifiziert werden können. In 2026 gilt der GAIA Benchmark als gesättigt, da viele Modelle einen Score von mehr als 90% erreichen.

Agentische Aufgaben

#	Modell⇅	Score
1	Claude Mythos Preview	79,6 %
2	GPT-5.5	78,7 %
3	Claude Opus 4.7	78 %
4	GPT-5.4	75 %
5	Kimi K2.6	73,1 %
6	Claude Opus 4.6	72,7 %
7	Claude Sonnet 4.6	72,5 %
8	Claude Opus 4.5	66,3 %
9	GPT-5.3-Codex	64,7 %
10	Claude Haiku 4.5	50,7 %
11	GPT-5.4 mini	42 %

#	Modell⇅	Score
1	Claude Mythos Preview	79,6 %
2	GPT-5.5	78,7 %
3	Claude Opus 4.7	78 %
4	GPT-5.4	75 %
5	Kimi K2.6	73,1 %
6	Claude Opus 4.6	72,7 %
7	Claude Sonnet 4.6	72,5 %
8	Claude Opus 4.5	66,3 %
9	GPT-5.3-Codex	64,7 %
10	Claude Haiku 4.5	50,7 %
11	GPT-5.4 mini	42 %

OSWorld-Verified — Übersicht

OSWorld-Verified Leaderboard

Beispielaufgaben aus dem OSWorld-Verified Benchmark

Ähnliche Benchmarks

APEX-Agents

Arena.ai

Artificial Analysis Intelligence Index

BrowseComp

CyberGym

GAIA

Ähnliche Benchmarks

APEX-Agents

Arena.ai

Artificial Analysis Intelligence Index

BrowseComp

CyberGym

GAIA