MRCR v2 — Übersicht

MRCR v2 (Multi-Round Coreference Resolution, Version 2) ist ein Long-Context-Benchmark von Google DeepMind zur Bewertung der "Nadel-im-Heuhaufen" Fähigkeit von großen Sprachmodellen entwickelt wurde. Dafür werden mehrere spezifische Informationsstücke (Needles) in langen synthetischen Konversationen "versteckt". Die LLMs sollen diese Nadeln lokalisieren, unterscheiden und korrekt wiedergeben. Die KI-Modelle erhalten eine mehrstufige Konversation, in der ein Nutzer wiederholt um Schreibaufgaben (z.B. Gedichte, Essays, Blogposts) zu bestimmten Themen bittet, und muss dann die i-te Instanz einer bestimmten Anfrage reproduzieren. Die Schwierigkeit steigt durch adversarial ähnliche Distraktoren, zunehmende Needle-Anzahl (2, 4 oder 8) und wachsende Kontextlängen von bis zu 8 Millionen Tokens. MRCR v2 ist die öffentlich freigegebene und erweiterte Version des ursprünglichen MRCR-Tasks aus dem Michelangelo-Paper und unterstützt Evaluierungen bis zu 8M Tokens mit konfigurierbaren Schwierigkeitsgraden.

Paper GitHub Dataset (OpenAI)Leaderboard

Beispielaufgaben aus dem MRCR v2 Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im MRCR v2 Benchmark vorkommen.

User: Write a poem about penguins Assistant: [poem about penguins] User: Write an essay about complexity theory Assistant: [essay about complexity theory] User: Write a poem about penguins Assistant: [second poem about penguins] User: Write an email about basketball Assistant: [email about basketball] ... User: Add the string 'AKJSs89sal' to the 2nd poem about penguins. Do not include any other text in your response.

AKJSs89sal[exact content of the 2nd poem about penguins]

User: Write a poem about tapirs Assistant: [first poem about tapirs] User: Write a blog post about rocks Assistant: [first blog post about rocks] User: Write a poem about tapirs Assistant: [second poem about tapirs] User: Write a social media post about tapirs Assistant: [first social media post about tapirs] ... User: Prepend aYooSG8CQg to the 2nd (1 indexed) poem about tapirs. Do not include any other text in your response.

aYooSG8CQg[exact content of the 2nd poem about tapirs]

User: Write a riddle about ducks Assistant: [first riddle about ducks] User: Write a play about Star Wars Assistant: [play about Star Wars] User: Write a riddle about ducks Assistant: [second riddle about ducks] ... User: Write a riddle about ducks Assistant: [eighth riddle about ducks] ... User: Prepend xR7mK2pL9w to the 7th (1 indexed) riddle about ducks. Do not include any other text in your response.

xR7mK2pL9w[exact content of the 7th riddle about ducks]

Ähnliche Benchmarks

Diese Benchmarks messen ähnliche Fähigkeiten wie der MRCR v2 Benchmark.

AA-Omniscience

AA-Omniscience ist ein Benchmark zur Bewertung der Faktentreue von LLMs über 6.000 Fragen hinweg. Der Benchmark umfasst 42 wirtschaftlich relevante Themen in sechs Bereichen: Business, Geistes- und Sozialwissenschaften, Gesundheit, Recht, Software Engineering sowie Wissenschaft/Ingenieurwesen/Mathematik. Der zentrale Messwert, der Omniscience Index, belohnt korrekte Antworten, bestraft Halluzinationen und bewertet Enthaltungen neutral. Ein Score von 0 bedeutet, dass ein Modell ebenso oft richtig wie falsch antwortet. Die Fragen aus AA-Omniscience stammen zum Großteil aus anspruchsvollen und akademischen Quellen und erfordern vertieftes Fachwissen. Der Omniscience Index Score wird berechnet als: OI = 100 * (c - i) / (c + p + i + a), wobei c = korrekt, i = inkorrekt, p = teilweise korrekt, a = Enthaltung. Bewertet werden die Antworten automatisiert von einem Grading-Modell.

Wissen & Sprache
Cybersecurity

AIME 2025

AIME 2025 ist ein Mathematik-Benchmark für LLMs. AIME 2025 basiert auf den 30 Aufgaben der American Invitational Mathematics Examination 2025. AIME testet mathematisches Verständnis von LLMs auf Mathe-Olympiade-Niveau der gymnasialen Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschließlich exakte Übereinstimmungen als korrekt gewertet werden, es gibt keine Teilpunkte. AIME 2025 deckt die mathematischen Teilbereiche Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen der Aufgaben werden mehrstufige logische Schlussfolgerungen und kreative Problemlösungsstrategien benötigt. Während menschlichen Teilnehmer durchschnittlich nur 4-6 von 15 Aufgaben korrekt lösen (~27% bis 40%), erreichen führende LLMs mittlerweile Scores von über 90%.

Logik & Schlussfolgerung

AIME 2026

AIME 2026 ist ein Mathematik-Benchmark, der auf allen 30 Aufgaben der American Invitational Mathematics Examination 2026 basiert. Der Benchmark testet die Reasoning-Fähigkeiten von LLMs auf Niveau der Mathematik-Olympiade für die gymnasiale Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschliesslich exakte Übereinstimmungen mit der Lösung als korrekt gewertet werden. Der Benchmark deckt mathematische Teilbereiche wie Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen werden mehrstufige logische Schlussfolgerungen und kreative Problemlösestrategien benötigt. Führende LLMs konnten den Benchmark bereits in Q1 2026 sättigen.

Logik & Schlussfolgerung

ARC-AGI-2

Der ARC-AGI-2 Benchmark misst die "fluide Intelligenz" von KI-Modellen. Der Benchmark besteht aus neuartigen visuellen Raster-Puzzles besteht, die zum Lösen abstraktes Reasoning erfordern. Wie man es vielleicht aus Rätselheften kennt, werden wenige Beispiele mit Input/Output-Gitterpaare präsentiert, aus denen die zugrunde liegende Transformationsregel erkannt und auf einen neuen Test-Input angewendet werden muss. Im Vergleich zum inzwischen gesättigten Vorgänger ARC-AGI-1 wurden die Aufgaben in ARC-AGI-2 gezielt schwieriger gestaltet. Der Fokus liegt auf mehrstufigen Regeln und kontextabhängiger Symboldeutung. LLMs ohne Reasoning-Kapazitäten erreichen 0% und selbst spezialisierte Reasoning-Systeme lagen zum Veröffentlichungszeitpunkt eher im einstelligen Prozentbereich. Anders, als bei vielen anderen Benchmarks, erreichen menschliche Teilnehmer im Durchschnitt einen hohen Score von 66%. Die ARC-AGI Benchmarks gehören zu den anspruchsvollsten Tests für generelle Problemlösefähigkeiten und zielen auf die Schwächen des LLM-Reasonings ab.

Logik & Schlussfolgerung

ARC-AGI-3

ARC-AGI-3 ist ein interaktiver Reasoning-Benchmark der ARC Prize Foundation, der die Intelligenz von KI-Modellen in einer neuen Weise in rundenbasierten Spielumgebungen misst. Statt – wie bei ARC-AGI-1 und ARC-AGI-2 – statische Muster aus Input-Output-Paaren abzuleiten, muss ein KI-Agent jede Umgebung ohne Anweisungen oder Zielvorgabe selbst erkunden, die Spielmechanik und das Ziel eigenständig erschließen und dann mit möglichst wenigen Aktionen lösen. Bewertet wird nicht die reine Lösung, sondern die Handlungseffizienz im Vergleich zur menschlichen Baseline. Obwohl auch untrainierte Menschen meistens 100 % der 135 Umgebungen lösen, erreichen selbst aktuelle Spitzenmodelle weniger als 1 %, was ARC-AGI-3 zu einem der härtesten Maßstäbe für eine "Allgemeine Künstliche Intelligenz" (AGI) macht. Du kannst den ARC-AGI-3 Benchmark auch selbst auf der offiziellen ARC AGI Play Website durchlaufen und testen.

Logik & Schlussfolgerung
Agentische Aufgaben

Arena.ai

Arena.ai (ehemals "LMArena" oder "LMSYS Chatbot Arena") ist eine Community-basierte Benchmark-Plattform für grosse Sprachmodelle. Auf Arena.ai können menschliche Nutzer Prompts an die Evaluierungsplattform stellen. Im Gegenzug werden zwei Outputs verschiedener, nicht bekannter LLMs ausgegeben, die von dem Nutzer in Gewinner und Verlierer bewertet werden. Die gesammelten Stimmen werden mittels eines Bradley-Terry-Modells zu Elo-ähnlichen Bewertungen aggregiert und in einem öffentlichen Leaderboard dargestellt. Seit dem Start im April 2023 hat die Plattform mehr als 6 Millionen User-Votes gesammelt und mehr als 400 unterschiedliche Modelle bewertet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Anleitung & Kreativität
Multimodalität

‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌

#	Modell⇅	Score
1	Muse Spark 1.3	98,3 %
2	Fugu Ultra	93,6 %
3	Qwen3.8 2.4T A95B	92,9 %
4	Qwen 3.8 Max	92,9 %
5	Gemini 3.6 Flash	91,8 %
6	GPT-5.6 Sol	91,5 %
7	GPT-5.6 Terra	89,6 %
8	Gemini 3.5 Flash	77,3 %
9	Gemini 3.5 Flash-Lite	72,2 %
10	Gemma 4 31B	66,4 %
11	Muse Spark 1.1	54,1 %
12	GPT-5.6 Luna	41,3 %

#	Modell⇅	Score
1	Muse Spark 1.3	98,3 %
2	Fugu Ultra	93,6 %
3	Qwen3.8 2.4T A95B	92,9 %
4	Qwen 3.8 Max	92,9 %
5	Gemini 3.6 Flash	91,8 %
6	GPT-5.6 Sol	91,5 %
7	GPT-5.6 Terra	89,6 %
8	Gemini 3.5 Flash	77,3 %
9	Gemini 3.5 Flash-Lite	72,2 %
10	Gemma 4 31B	66,4 %
11	Muse Spark 1.1	54,1 %
12	GPT-5.6 Luna	41,3 %

MRCR v2 — Übersicht

MRCR v2 Leaderboard

Beispielaufgaben aus dem MRCR v2 Benchmark

Ähnliche Benchmarks

AA-Omniscience

AIME 2025

AIME 2026

ARC-AGI-2

ARC-AGI-3

Arena.ai

Ähnliche Benchmarks

AA-Omniscience

AIME 2025

AIME 2026

ARC-AGI-2

ARC-AGI-3

Arena.ai