LiveCodeBench — Übersicht

LiveCodeBench ist ein kontaminationsfreier Coding-Benchmark für LLMs, der regelmäßig mit neuen Probleme aktualisiert wird. LiveCodeBench sammelt Coding-Probleme von LeetCode, AtCoder und CodeForces und fokussiert sich über die reine Code-Generierung hinaus auf breitere Fähigkeiten wie Bugfixing, Code-Execution und Test-Output-Vorhersage. Aktuell umfasst LiveCodeBench über 700 Coding-Probleme, die zwischen Mai 2023 und September 2024 veröffentlicht wurden.

Paper Website GitHub Hugging Face Leaderboard

Beispielaufgaben aus dem LiveCodeBench Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im LiveCodeBench Benchmark vorkommen.

Code Generation: Given an array of integers, implement a function that finds the longest increasing subsequence. The function should return the length of the longest subsequence. Input: [10,9,2,5,3,7,101,18] Expected Output: 4

def lengthOfLIS(nums): dp = [1] * len(nums); for i in range(1, len(nums)): for j in range(i): if nums[j] < nums[i]: dp[i] = max(dp[i], dp[j] + 1); return max(dp)

Self Repair: Debug this function that should calculate factorial: def factorial(n): result = 1; for i in range(n): result *= i; return result

def factorial(n): result = 1; for i in range(1, n+1): result *= i; return result # Fix: range should start from 1, not 0

Ähnliche Benchmarks

Diese Benchmarks messen ähnliche Fähigkeiten wie der LiveCodeBench Benchmark.

Aider Polyglot

Aider Polyglot ist ein Code-Editing-Benchmark, der die Programmierfähigkeiten von LLMs anhand von 225 anspruchsvollen Programmieraufgaben in sechs Sprachen (C++, Go, Java, JavaScript, Python, Rust) bewertet. Die getesteten LLMs erhalten zwei Versuche pro Aufgabe: Bei einem Fehler im ersten Versuch werden die Unit-Test-Ergebnisse als Feedback für einen zweiten Korrekturversuch bereitgestellt. Aider Polyglot wurde entwickelt, um die Sättigung des ursprünglichen Python-only-Benchmarks von Aider zu überwinden und eine deutlichere Differenzierung zwischen den stärksten Coding-Modellen zu ermöglichen. In 2026 gilt auch Aider Polyglot als gesättigt und wird nicht mehr aktiv aktualisiert.

Programmierung

Arena.ai

Arena.ai (ehemals "LMArena" oder "LMSYS Chatbot Arena") ist eine Community-basierte Benchmark-Plattform für grosse Sprachmodelle. Auf Arena.ai können menschliche Nutzer Prompts an die Evaluierungsplattform stellen. Im Gegenzug werden zwei Outputs verschiedener, nicht bekannter LLMs ausgegeben, die von dem Nutzer in Gewinner und Verlierer bewertet werden. Die gesammelten Stimmen werden mittels eines Bradley-Terry-Modells zu Elo-ähnlichen Bewertungen aggregiert und in einem öffentlichen Leaderboard dargestellt. Seit dem Start im April 2023 hat die Plattform mehr als 6 Millionen User-Votes gesammelt und mehr als 400 unterschiedliche Modelle bewertet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Anleitung & Kreativität
Multimodalität

Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein Meta-Benchmark, der keine eigenen Fragen enthält, sondern die Ergebnisse von zehn unabhängigen Benchmarks aggregiert: GDPval-AA (220 Aufgaben), tau2-Bench Telecom (114 Aufgaben), Terminal-Bench Hard (44 Aufgaben), SciCode (338 Teilprobleme), AA-LCR (100 Fragen), AA-Omniscience (6.000 Fragen), IFBench (294 Aufgaben), Humanity's Last Exam (2.158 Fragen), GPQA Diamond (198 Fragen) und CritPt (70 Aufgaben). Dabei gewichtet der Index die Benchmarks in vier Kategorien zu jeweils 25%: Agents, Coding, General und Scientific Reasoning. Durch die breite Abdeckung soll der Index die Generalisierungsfähigkeiten von LLMs widerspiegeln und die Gesamtkapazität der Modelle auf dem Weg zu AGI einordnen. Die Tests sind rein textbasiert und auf Englisch. Über alle Teilbenchmarks wird das pass@1-Scoring, also die Wahrscheinlichkeit, dass das erste Ausgabeergebnis korrekt ist, verwendet.

Logik & Schlussfolgerung
Programmierung
Wissen & Sprache
Wissenschaft
Agentische Aufgaben
Anleitung & Kreativität

CyberGym

CyberGym ist ein Cybersecurity-Benchmark, der die Fähigkeiten von KI-Agenten bei der Analyse von Software-Schwachstellen bewertet. CyberGym umfasst 1.507 existierende Schwachstellen aus 188 Open-Source-Projekten, die aus Googles OSS-Fuzz-Kampagne stammen. Die Aufgabe für die LLMs besteht darin, anhand einer Beschreibung der Schwachstelle und des ungepatchten Quellcodes einen Proof-of-Concept (PoC) zu entwickeln, der die Schwachstelle reproduziert. Das Ziel ist es also nicht, einen Fix für die Schwachstelle zu entwickeln, sondern einen PoC zu schreiben, der die Schwachstelle reproduziert und den Fehler auslöst. Über das reine Benchmarking hinaus hat CyberGym zur Entdeckung von 35 Zero-Day-Schwachstellen und 17 neuen Software-Patches geführt. CyberGym wird von der UC Berkeley entwickelt und maintained.

Cybersecurity
Programmierung
Agentische Aufgaben

LiveCodeBench Pro

LiveCodeBench Pro ist ein kontaminationsfreier Benchmark zur Bewertung von LLMs im Bereich Competitive Programming und quasi-Nachfolger von Live Code Bench v6. Der LCB-Pro Benchmark enthält 584 Aufgaben aus Coding-Competitions wie Codeforces, ICPC und IOI. Die Aufgaben werden in Echtzeit gesammelt, bevor Lösungen oder Editorials online erscheinen und die Trainingsdaten kontaminieren könnten. Ein Team internationaler Olympiade-Medaillengewinner annotiert jedes Problem hinsichtlich algorithmischer Kategorien und kognitiver Anforderungsprofile (Wissen, Logik, Beobachtung) und führt zeilenweise Fehleranalysen fehlgeschlagener Modell-Einreichungen durch.

Programmierung
Logik & Schlussfolgerung

MCP-Atlas

MCP-Atlas ist ein grossangelegter Benchmark von Scale AI zur Bewertung der Tool-Nutzungskompetenz von Sprachmodellen unter Verwendung realer MCP-Server (Model Context Protocol). Der Benchmark umfasst 1.000 menschlich erstellte Aufgaben, die 36 reale MCP-Server und 220 Tools abdecken und realistische, mehrstufige Workflows erfordern. Die Aufgaben verwenden natuerlichsprachliche Prompts, die keine spezifischen Tools oder Server benennen, sodass Agenten eigenstaendig 3-6 Tool-Aufrufe ueber mehrere Server hinweg identifizieren und orchestrieren muessen. Die Bewertung erfolgt ueber eine anspruchsbasierte Rubrik, die Teilpunkte vergibt basierend auf erfuellten faktischen Behauptungen in der Modellantwort.

Agentische Aufgaben
Programmierung

#	Modell⇅	Score
1	Gemini 3.1 Pro	2.887 %
2	DeepSeek-V4-Pro (Preview)	93,5 %
3	Kimi K2.6	89,6 %
4	DeepSeek-v3.2 Speciale	88,7 %
5	Kimi K2.5 (Thinking)	85 %
6	GLM-4.7	84,9 %
7	Qwen3.5-397B-A17B	83,6 %
8	DeepSeek-v3.2 Thinking	83,3 %
9	Kimi K2 Thinking	83,1 %
10	MiniMax-M2	83 %
11	GLM-4.6	82,8 %
12	Nemotron 3 Super	81,19 %
13	MiniMax M2.1	81 %
14	Muse Spark	80 %
15	Gemma 4 31B	80 %
16	Grok-4 Heavy	79,4 %
17	Grok-4	79,3 %
18	Gemini 2.5 Pro	74,2 %
19	Qwen3 235B A22B Thinking 2507	74,1 %
20	DeepSeek-R1-0528	73,3 %
21	GLM-4.5	72,9 %
22	Gemini 3.1 Flash-Lite	72 %
23	GLM-4.5 Air	70,7 %
24	Gemini 2.5 Flash	59,3 %
25	Claude Sonnet 4	55,9 %

#	Modell⇅	Score
1	Gemini 3.1 Pro	2.887 %
2	DeepSeek-V4-Pro (Preview)	93,5 %
3	Kimi K2.6	89,6 %
4	DeepSeek-v3.2 Speciale	88,7 %
5	Kimi K2.5 (Thinking)	85 %
6	GLM-4.7	84,9 %
7	Qwen3.5-397B-A17B	83,6 %
8	DeepSeek-v3.2 Thinking	83,3 %
9	Kimi K2 Thinking	83,1 %
10	MiniMax-M2	83 %
11	GLM-4.6	82,8 %
12	Nemotron 3 Super	81,19 %
13	MiniMax M2.1	81 %
14	Muse Spark	80 %
15	Gemma 4 31B	80 %
16	Grok-4 Heavy	79,4 %
17	Grok-4	79,3 %
18	Gemini 2.5 Pro	74,2 %
19	Qwen3 235B A22B Thinking 2507	74,1 %
20	DeepSeek-R1-0528	73,3 %
21	GLM-4.5	72,9 %
22	Gemini 3.1 Flash-Lite	72 %
23	GLM-4.5 Air	70,7 %
24	Gemini 2.5 Flash	59,3 %
25	Claude Sonnet 4	55,9 %

LiveCodeBench — Übersicht

LiveCodeBench Leaderboard

Beispielaufgaben aus dem LiveCodeBench Benchmark

Ähnliche Benchmarks

Aider Polyglot

Arena.ai

Artificial Analysis Intelligence Index

CyberGym

LiveCodeBench Pro

MCP-Atlas

Ähnliche Benchmarks

Aider Polyglot

Arena.ai

Artificial Analysis Intelligence Index

CyberGym

LiveCodeBench Pro

MCP-Atlas