AIME 2025 — Übersicht

AIME 2025 ist ein Mathematik-Benchmark für LLMs. AIME 2025 basiert auf den 30 Aufgaben der American Invitational Mathematics Examination 2025. AIME testet mathematisches Verständnis von LLMs auf Mathe-Olympiade-Niveau der gymnasialen Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschließlich exakte Übereinstimmungen als korrekt gewertet werden, es gibt keine Teilpunkte. AIME 2025 deckt die mathematischen Teilbereiche Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen der Aufgaben werden mehrstufige logische Schlussfolgerungen und kreative Problemlösungsstrategien benötigt. Während menschlichen Teilnehmer durchschnittlich nur 4-6 von 15 Aufgaben korrekt lösen (~27% bis 40%), erreichen führende LLMs mittlerweile Scores von über 90%.

Dataset MAA Aufgabenset 1 Aufgabenset 2

Beispielaufgaben aus dem AIME 2025 Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im AIME 2025 Benchmark vorkommen.

Find the sum of all integer bases $b>9$ for which $17_b$ is a divisor of $97_b.$

70

The $9$ members of a baseball team went to an ice-cream parlor after their game. Each player had a single scoop cone of chocolate, vanilla, or strawberry ice cream. At least one player chose each flavor, and the number of players who chose chocolate was greater than the number of players who chose vanilla, which was greater than the number of players who chose strawberry. Let $N$ be the number of different assignments of flavors to players that meet these conditions. Find the remainder when $N$ is divided by $1000.$

16

Find the number of ordered pairs $(x,y)$, where both $x$ and $y$ are integers between $-100$ and $100$ inclusive, such that $12x^2-xy-6y^2=0$.

117

Six points $A, B, C, D, E,$ and $F$ lie in a straight line in that order. Suppose that $G$ is a point not on the line and that $AC=26, BD=22, CE=31, DF=33, AF=73, CG=40,$ and $DG=30.$ Find the area of $\triangle BGE.$

468

Let $N$ denote the number of ordered triples of positive integers $(a, b, c)$ such that $a, b, c \leq 3^6$ and $a^3 + b^3 + c^3$ is a multiple of $3^7$. Find the remainder when $N$ is divided by $1000$.

735

Ähnliche Benchmarks

Diese Benchmarks messen ähnliche Fähigkeiten wie der AIME 2025 Benchmark.

AIME 2026

AIME 2026 ist ein Mathematik-Benchmark, der auf allen 30 Aufgaben der American Invitational Mathematics Examination 2026 basiert. Der Benchmark testet die Reasoning-Fähigkeiten von LLMs auf Niveau der Mathematik-Olympiade für die gymnasiale Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschliesslich exakte Übereinstimmungen mit der Lösung als korrekt gewertet werden. Der Benchmark deckt mathematische Teilbereiche wie Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen werden mehrstufige logische Schlussfolgerungen und kreative Problemlösestrategien benötigt. Führende LLMs konnten den Benchmark bereits in Q1 2026 sättigen.

Logik & Schlussfolgerung

ARC-AGI-2

Der ARC-AGI-2 Benchmark misst die "fluide Intelligenz" von KI-Modellen. Der Benchmark besteht aus neuartigen visuellen Raster-Puzzles besteht, die zum Lösen abstraktes Reasoning erfordern. Wie man es vielleicht aus Rätselheften kennt, werden wenige Beispiele mit Input/Output-Gitterpaare präsentiert, aus denen die zugrunde liegende Transformationsregel erkannt und auf einen neuen Test-Input angewendet werden muss. Im Vergleich zum inzwischen gesättigten Vorgänger ARC-AGI-1 wurden die Aufgaben in ARC-AGI-2 gezielt schwieriger gestaltet. Der Fokus liegt auf mehrstufigen Regeln und kontextabhängiger Symboldeutung. LLMs ohne Reasoning-Kapazitäten erreichen 0% und selbst spezialisierte Reasoning-Systeme lagen zum Veröffentlichungszeitpunkt eher im einstelligen Prozentbereich. Anders, als bei vielen anderen Benchmarks, erreichen menschliche Teilnehmer im Durchschnitt einen hohen Score von 66%. Die ARC-AGI Benchmarks gehören zu den anspruchsvollsten Tests für generelle Problemlösefähigkeiten und zielen auf die Schwächen des LLM-Reasonings ab.

Logik & Schlussfolgerung

Arena.ai

Arena.ai (ehemals "LMArena" oder "LMSYS Chatbot Arena") ist eine Community-basierte Benchmark-Plattform für grosse Sprachmodelle. Auf Arena.ai können menschliche Nutzer Prompts an die Evaluierungsplattform stellen. Im Gegenzug werden zwei Outputs verschiedener, nicht bekannter LLMs ausgegeben, die von dem Nutzer in Gewinner und Verlierer bewertet werden. Die gesammelten Stimmen werden mittels eines Bradley-Terry-Modells zu Elo-ähnlichen Bewertungen aggregiert und in einem öffentlichen Leaderboard dargestellt. Seit dem Start im April 2023 hat die Plattform mehr als 6 Millionen User-Votes gesammelt und mehr als 400 unterschiedliche Modelle bewertet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Anleitung & Kreativität
Multimodalität

Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein Meta-Benchmark, der keine eigenen Fragen enthält, sondern die Ergebnisse von zehn unabhängigen Benchmarks aggregiert: GDPval-AA (220 Aufgaben), tau2-Bench Telecom (114 Aufgaben), Terminal-Bench Hard (44 Aufgaben), SciCode (338 Teilprobleme), AA-LCR (100 Fragen), AA-Omniscience (6.000 Fragen), IFBench (294 Aufgaben), Humanity's Last Exam (2.158 Fragen), GPQA Diamond (198 Fragen) und CritPt (70 Aufgaben). Dabei gewichtet der Index die Benchmarks in vier Kategorien zu jeweils 25%: Agents, Coding, General und Scientific Reasoning. Durch die breite Abdeckung soll der Index die Generalisierungsfähigkeiten von LLMs widerspiegeln und die Gesamtkapazität der Modelle auf dem Weg zu AGI einordnen. Die Tests sind rein textbasiert und auf Englisch. Über alle Teilbenchmarks wird das pass@1-Scoring, also die Wahrscheinlichkeit, dass das erste Ausgabeergebnis korrekt ist, verwendet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Wissenschaft
Agentische Aufgaben
Anleitung & Kreativität

FrontierMath

FrontierMath ist ein MathematikBenchmark für LLMs. FrontierMath besteht aus hunderten anspruchsvollen mathematischen Problemstellungen, die von über 60 führenden Mathematikern erstellt und überprüft wurden (u.a. befand Terence Tao die Aufgaben als "außergewöhnlich anspruchsvoll"). Die Aufgaben decken die meisten großen Teilgebiete der modernen Mathematik ab. Sie reichen von rechenintensiven Problemen der Zahlentheorie und der reellen Analysis bis hin zu abstrakten Fragestellungen der algebraischen Geometrie und Kategorientheorie. 300 der FrontierMath Fragen sind in die Schwierigkeitsstufen 1-3 (Bachelor- bis frühes Doktoranden-Niveau) kategorisiert. Die restlichen 50 gehören zur Stufe 4, dem aktuellen Forschungsniveau. Insgesamt wurden nur 12 Aufgaben aus dem Benchmark veröffentlicht, um eine Datenkontamination, bzw. das Post-Training von Modellen zum Verfälschen der Benchmark-Ergebnisse, zu verhindern. Die Lösung eines typischen Problems aus dem FrontierMath Datensatz erfordert von einem Mathematiker, der sich im jeweiligen Fachgebiet auskenn, mehrere Stunden an Arbeit. Für die schwierigsten Aufgaben können menschliche Probanden gar mehrere Tage für die Lösung brauchen.

Logik & Schlussfolgerung

GPQA Diamond

GPQA Diamond ist ein Subset des GPQA-Benchmarks (Graduate-Level Google-Proof Questions and Answers) mit den 198 anspruchsvollsten Multiple-Choice-Fragen aus dem GPQA Datensatz. Der Benchmark umfasst Themen aus der Biologie, Physik und Chemie. Das Diamond-Subset enthält ausschließlich die Fragen, bei denen die beiden Experten. die den Benchmark validiert haben, korrekt geantwortet haben, während die Mehrheit der Nicht-Experten falsch lag. Die Fragen aus GPQA-Diamond sind auf Bachelor-Niveau konzipiert und "Google-proof". Das bedeutet, dass selbst hochqualifizierte Nicht-Experten trotz uneingeschränktem Internetzugang nur 22,1% Genauigkeit in GPQA-Diamond erreichen.

Wissen & Sprache
Logik & Schlussfolgerung
Wissenschaft

‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌

#	Modell⇅	Score
1	Grok-4 Heavy	100 %
2	GPT-5.2 Pro	100 %
3	GPT-5.2	100 %
4	GPT-5	99,6 %
5	Grok-4	98,8 %
6	GPT-5.4 nano	98,33 %
7	GPT-5 Pro	96,7 %
8	Kimi K2.5 (Thinking)	96,1 %
9	DeepSeek-v3.2 Speciale	96 %
10	GLM-4.7	95,7 %
11	Gemini 3 Pro	95 %
12	Kimi K2 Thinking	94,5 %
13	GPT-5.1	94 %
14	GLM-4.6	93,9 %
15	DeepSeek-v3.2 Thinking	93,1 %
16	OpenAI o4-mini	92,7 %
17	Qwen3 235B A22B Thinking 2507	92,3 %
18	GPT-5 mini	91,1 %
19	GPT-5.4 mini	90,83 %
20	Nemotron 3 Super	90,21 %
21	OpenAI o3	88,9 %
22	Gemini 2.5 Pro	88 %
23	DeepSeek-R1-0528	87,5 %
24	Claude Sonnet 4.5	87 %
25	OpenAI o3-mini	86,5 %

#	Modell⇅	Score
1	Grok-4 Heavy	100 %
2	GPT-5.2 Pro	100 %
3	GPT-5.2	100 %
4	GPT-5	99,6 %
5	Grok-4	98,8 %
6	GPT-5.4 nano	98,33 %
7	GPT-5 Pro	96,7 %
8	Kimi K2.5 (Thinking)	96,1 %
9	DeepSeek-v3.2 Speciale	96 %
10	GLM-4.7	95,7 %
11	Gemini 3 Pro	95 %
12	Kimi K2 Thinking	94,5 %
13	GPT-5.1	94 %
14	GLM-4.6	93,9 %
15	DeepSeek-v3.2 Thinking	93,1 %
16	OpenAI o4-mini	92,7 %
17	Qwen3 235B A22B Thinking 2507	92,3 %
18	GPT-5 mini	91,1 %
19	GPT-5.4 mini	90,83 %
20	Nemotron 3 Super	90,21 %
21	OpenAI o3	88,9 %
22	Gemini 2.5 Pro	88 %
23	DeepSeek-R1-0528	87,5 %
24	Claude Sonnet 4.5	87 %
25	OpenAI o3-mini	86,5 %

AIME 2025 — Übersicht

AIME 2025 Leaderboard

Beispielaufgaben aus dem AIME 2025 Benchmark

Ähnliche Benchmarks

AIME 2026

ARC-AGI-2

Arena.ai

Artificial Analysis Intelligence Index

FrontierMath

GPQA Diamond

Ähnliche Benchmarks

AIME 2026

ARC-AGI-2

Arena.ai

Artificial Analysis Intelligence Index

FrontierMath

GPQA Diamond