Humanity's Last Exam — Übersicht

Humanity's Last Exam (HLE) ist ein multimodaler Benchmark, der als "letzter" geschlossener akademischer Benchmark seiner Art mit breiter Fachabdeckung konzipiert wurde. Er umfasst 2.500 anspruchsvolle Fragen aus über hundert Fachgebieten, die von fast 1.000 Fachexperten aus wiederum über 500 Institutionen in 50 Ländern beigesteuert wurden. Um die Fragen beantworten zu können, erfordert es nischiges Expertenwissen auf Hochschul-Niveau. Die Fragen sind als Multiple-Choice- oder Kurzantwort-Fragen konzipiert und lassen sich automatisiert bewerten. Aktuelle Frontier-Modelle erreichen im Humanity's Last Exam Benchmark Scores von weniger als 50 %.

Paper Nature Dataset GitHub Leaderboard

Beispielaufgaben aus dem Humanity's Last Exam Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im Humanity's Last Exam Benchmark vorkommen.

Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.

2

In Greek mythology, who was Jason's maternal great-grandfather?

Aeolus

What was the rarest noble gas on Earth as a percentage of all terrestrial matter in 2002?

Oganesson

What is the BUD for a single dose container ampule from the time of puncture in a sterile environment?

1 hour

Which of the following have Raphidiopterans been recorded feeding on as adults? (A) Nectar (B) Māhoe pollen (C) Fungus (D) Karamū leaf tissue (E) Totara Aphids (F) A, B and E (G) A, C and E (H) A and E

A

Ähnliche Benchmarks

Diese Benchmarks messen ähnliche Fähigkeiten wie der Humanity's Last Exam Benchmark.

AA-Omniscience

AA-Omniscience ist ein Benchmark zur Bewertung der Faktentreue von LLMs über 6.000 Fragen hinweg. Der Benchmark umfasst 42 wirtschaftlich relevante Themen in sechs Bereichen: Business, Geistes- und Sozialwissenschaften, Gesundheit, Recht, Software Engineering sowie Wissenschaft/Ingenieurwesen/Mathematik. Der zentrale Messwert, der Omniscience Index, belohnt korrekte Antworten, bestraft Halluzinationen und bewertet Enthaltungen neutral. Ein Score von 0 bedeutet, dass ein Modell ebenso oft richtig wie falsch antwortet. Die Fragen aus AA-Omniscience stammen zum Großteil aus anspruchsvollen und akademischen Quellen und erfordern vertieftes Fachwissen. Der Omniscience Index Score wird berechnet als: OI = 100 * (c - i) / (c + p + i + a), wobei c = korrekt, i = inkorrekt, p = teilweise korrekt, a = Enthaltung. Bewertet werden die Antworten automatisiert von einem Grading-Modell.

Wissen & Sprache
Cybersecurity

AIME 2025

AIME 2025 ist ein Mathematik-Benchmark für LLMs. AIME 2025 basiert auf den 30 Aufgaben der American Invitational Mathematics Examination 2025. AIME testet mathematisches Verständnis von LLMs auf Mathe-Olympiade-Niveau der gymnasialen Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschließlich exakte Übereinstimmungen als korrekt gewertet werden, es gibt keine Teilpunkte. AIME 2025 deckt die mathematischen Teilbereiche Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen der Aufgaben werden mehrstufige logische Schlussfolgerungen und kreative Problemlösungsstrategien benötigt. Während menschlichen Teilnehmer durchschnittlich nur 4-6 von 15 Aufgaben korrekt lösen (~27% bis 40%), erreichen führende LLMs mittlerweile Scores von über 90%.

Logik & Schlussfolgerung

AIME 2026

AIME 2026 ist ein Mathematik-Benchmark, der auf allen 30 Aufgaben der American Invitational Mathematics Examination 2026 basiert. Der Benchmark testet die Reasoning-Fähigkeiten von LLMs auf Niveau der Mathematik-Olympiade für die gymnasiale Oberstufe. Jede Aufgabe erfordert eine ganzzahlige Antwort zwischen 000 und 999, wobei ausschliesslich exakte Übereinstimmungen mit der Lösung als korrekt gewertet werden. Der Benchmark deckt mathematische Teilbereiche wie Algebra, Geometrie, Zahlentheorie, Kombinatorik und Wahrscheinlichkeitsrechnung ab. Zum Lösen werden mehrstufige logische Schlussfolgerungen und kreative Problemlösestrategien benötigt. Führende LLMs konnten den Benchmark bereits in Q1 2026 sättigen.

Logik & Schlussfolgerung

ARC-AGI-2

Der ARC-AGI-2 Benchmark misst die "fluide Intelligenz" von KI-Modellen. Der Benchmark besteht aus neuartigen visuellen Raster-Puzzles besteht, die zum Lösen abstraktes Reasoning erfordern. Wie man es vielleicht aus Rätselheften kennt, werden wenige Beispiele mit Input/Output-Gitterpaare präsentiert, aus denen die zugrunde liegende Transformationsregel erkannt und auf einen neuen Test-Input angewendet werden muss. Im Vergleich zum inzwischen gesättigten Vorgänger ARC-AGI-1 wurden die Aufgaben in ARC-AGI-2 gezielt schwieriger gestaltet. Der Fokus liegt auf mehrstufigen Regeln und kontextabhängiger Symboldeutung. LLMs ohne Reasoning-Kapazitäten erreichen 0% und selbst spezialisierte Reasoning-Systeme lagen zum Veröffentlichungszeitpunkt eher im einstelligen Prozentbereich. Anders, als bei vielen anderen Benchmarks, erreichen menschliche Teilnehmer im Durchschnitt einen hohen Score von 66%. Die ARC-AGI Benchmarks gehören zu den anspruchsvollsten Tests für generelle Problemlösefähigkeiten und zielen auf die Schwächen des LLM-Reasonings ab.

Logik & Schlussfolgerung

Arena.ai

Arena.ai (ehemals "LMArena" oder "LMSYS Chatbot Arena") ist eine Community-basierte Benchmark-Plattform für grosse Sprachmodelle. Auf Arena.ai können menschliche Nutzer Prompts an die Evaluierungsplattform stellen. Im Gegenzug werden zwei Outputs verschiedener, nicht bekannter LLMs ausgegeben, die von dem Nutzer in Gewinner und Verlierer bewertet werden. Die gesammelten Stimmen werden mittels eines Bradley-Terry-Modells zu Elo-ähnlichen Bewertungen aggregiert und in einem öffentlichen Leaderboard dargestellt. Seit dem Start im April 2023 hat die Plattform mehr als 6 Millionen User-Votes gesammelt und mehr als 400 unterschiedliche Modelle bewertet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Anleitung & Kreativität
Multimodalität

Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein Meta-Benchmark, der keine eigenen Fragen enthält, sondern die Ergebnisse von zehn unabhängigen Benchmarks aggregiert: GDPval-AA (220 Aufgaben), tau2-Bench Telecom (114 Aufgaben), Terminal-Bench Hard (44 Aufgaben), SciCode (338 Teilprobleme), AA-LCR (100 Fragen), AA-Omniscience (6.000 Fragen), IFBench (294 Aufgaben), Humanity's Last Exam (2.158 Fragen), GPQA Diamond (198 Fragen) und CritPt (70 Aufgaben). Dabei gewichtet der Index die Benchmarks in vier Kategorien zu jeweils 25%: Agents, Coding, General und Scientific Reasoning. Durch die breite Abdeckung soll der Index die Generalisierungsfähigkeiten von LLMs widerspiegeln und die Gesamtkapazität der Modelle auf dem Weg zu AGI einordnen. Die Tests sind rein textbasiert und auf Englisch. Über alle Teilbenchmarks wird das pass@1-Scoring, also die Wahrscheinlichkeit, dass das erste Ausgabeergebnis korrekt ist, verwendet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Wissenschaft
Agentische Aufgaben
Anleitung & Kreativität

‌
‌
‌
‌
‌
‌
‌
‌
‌
‌
‌

#	Modell⇅	Score
1	Claude Mythos Preview	56,8 %
2	Kimi K2 Thinking	51 %
3	GPT-5.2 Pro	50 %
4	Claude Opus 4.7	46,9 %
5	Gemini 3 Pro	45,8 %
6	GPT-5.2	45,5 %
7	Grok-4 Heavy	44,4 %
8	Gemini 3.1 Pro	44,4 %
9	Muse Spark	42,8 %
10	GPT-5.5	41,4 %
11	Gemini 3 Deep Think	41 %
12	Claude Opus 4.6	40 %
13	Grok-4	38,6 %
14	DeepSeek-V4-Pro (Preview)	37,7 %
15	GPT-5	35,2 %
16	Kimi K2.6	34,7 %
17	Claude Sonnet 4.6	33,2 %
18	MiniMax-M2	31,8 %
19	GLM-5.1	31 %
20	GPT-5 Pro	30,7 %
21	DeepSeek-v3.2 Speciale	30,6 %
22	GLM-5	30,5 %
23	Kimi K2.5 (Thinking)	30,1 %
24	Qwen3.5-397B-A17B	28,7 %
25	DeepSeek-v3.2 Thinking	25,1 %

#	Modell⇅	Score
1	Claude Mythos Preview	56,8 %
2	Kimi K2 Thinking	51 %
3	GPT-5.2 Pro	50 %
4	Claude Opus 4.7	46,9 %
5	Gemini 3 Pro	45,8 %
6	GPT-5.2	45,5 %
7	Grok-4 Heavy	44,4 %
8	Gemini 3.1 Pro	44,4 %
9	Muse Spark	42,8 %
10	GPT-5.5	41,4 %
11	Gemini 3 Deep Think	41 %
12	Claude Opus 4.6	40 %
13	Grok-4	38,6 %
14	DeepSeek-V4-Pro (Preview)	37,7 %
15	GPT-5	35,2 %
16	Kimi K2.6	34,7 %
17	Claude Sonnet 4.6	33,2 %
18	MiniMax-M2	31,8 %
19	GLM-5.1	31 %
20	GPT-5 Pro	30,7 %
21	DeepSeek-v3.2 Speciale	30,6 %
22	GLM-5	30,5 %
23	Kimi K2.5 (Thinking)	30,1 %
24	Qwen3.5-397B-A17B	28,7 %
25	DeepSeek-v3.2 Thinking	25,1 %

Humanity's Last Exam — Übersicht

HLE Leaderboard

Beispielaufgaben aus dem Humanity's Last Exam Benchmark

Ähnliche Benchmarks

AA-Omniscience

AIME 2025

AIME 2026

ARC-AGI-2

Arena.ai

Artificial Analysis Intelligence Index

Ähnliche Benchmarks

AA-Omniscience

AIME 2025

AIME 2026

ARC-AGI-2

Arena.ai

Artificial Analysis Intelligence Index