SimpleQA Verified

SimpleQA Verified ist ein Benchmark von Google DeepMind und Google Research mit 1.000 kurzen Faktenfragen, der das parametrische Wissen von Sprachmodellen ohne Websuche misst.

SimpleQA Verified besteht aus 1.000 kurzen Faktenfragen mit genau einer überprüfbaren Antwort, etwa einem Datum, einer Person, einer Zahl oder einem Ort. Die Themen reichen von Politik über Wissenschaft und Kunst bis zu Sport, Geografie und Musik. Die Modelle antworten ohne Websuche und ohne Tools. Gemessen wird also nur das Wissen, das im Modell selbst gespeichert ist (parametrisches Wissen).

Google DeepMind und Google Research haben den Benchmark im September 2025 als bereinigte Fassung von OpenAIs SimpleQA veröffentlicht. Das Original mit 4.326 Fragen enthielt falsche Referenzantworten, eine Schieflage bei Themen und Antworttypen sowie viele Dubletten, darunter 119 fast gleiche Fragen zu Gründungsdaten kolumbianischer Gemeinden. Die Autoren haben Dubletten entfernt, Themen ausbalanciert, widersprüchliche Quellen abgeglichen und Zahlenantworten mit Toleranzbereichen versehen. Übrig blieben die 1.000 schwierigsten Fragen. Werte aus beiden Benchmarks sind deshalb nicht direkt vergleichbar.

Ein Bewertungsmodell (LLM-as-a-Judge) stuft jede Antwort als korrekt, falsch oder „nicht versucht“ ein. Die meisten Werte hier stammen von Epoch AI und geben den Anteil korrekter Antworten an allen 1.000 Fragen an. Epoch hängt an jede Frage eine kurze Aufforderung an, auf jeden Fall zu raten. Ohne sie verweigerten manche Modelle sehr oft die Antwort, Claude Haiku 4.5 etwa bei 82 % der Fragen. Das offizielle Kaggle-Leaderboard von Google nutzt dagegen einen F1-Score aus Gesamttrefferquote und Trefferquote bei den beantworteten Fragen. Werte aus dieser Quelle, aus dem Paper oder vom Hersteller sind im Setup gekennzeichnet.

Stand Oktober 2026 führt bei Epoch AI Gemini 4 Argon mit 76,0 %, knapp vor GPT-6 Astra mit 75,6 %. Kleine Modelle wie GPT-5 nano kommen auf 11,7 %. Relevant ist der Benchmark, wenn du ein Modell ohne Internetzugriff nutzt, etwa lokal oder per API ohne Suche: Ein hoher Wert heißt, dass das Modell auch bei seltenen Fakten öfter richtig liegt.

Die Grenzen: Fragen und Antworten sind öffentlich, Modelle können sie also im Training gesehen haben. Epoch vermutet das etwa bei Qwen3-Max. Mit Websuche erreichen Modelle laut Paper nahezu perfekte Werte, für Assistenten mit Suchfunktion sagt der Wert daher wenig aus. Und weil Epoch zum Raten auffordert, belohnt der Wert kein ehrliches „weiß ich nicht“. Wie oft ein Modell halluziniert, misst SimpleQA Verified in dieser Form nicht.