SciCode: Python-Code für echte Forschungsprobleme

SciCode prüft mit 80 von Wissenschaftlern kuratierten Forschungsproblemen aus Physik, Mathematik, Chemie, Biologie und Materialwissenschaft, ob KI-Modelle korrekten wissenschaftlichen Python-Code schreiben.

SciCode erschien im Juli 2024 und wurde von Naturwissenschaftlern gemeinsam mit KI-Forschenden erstellt. Grundlage sind 80 Forschungsprobleme aus 16 Teilgebieten der Physik, Mathematik, Chemie, Biologie und Materialwissenschaft, etwa Chern-Zahlen im Haldane-Modell oder eine Atomrechnung mit Self-Consistent Field. Jedes Hauptproblem ist in Teilaufgaben zerlegt, insgesamt 338. Zu jeder gibt es einen Funktionskopf, eine Musterlösung und Testfälle von Fachleuten.

Das Modell schreibt für jede Teilaufgabe eine Python-Funktion, spätere Schritte bauen auf früheren auf. Eine Teilaufgabe gilt als gelöst, wenn der Code alle zugehörigen Unit-Tests besteht. Ein Hauptproblem zählt erst, wenn alle seine Teilaufgaben stimmen. Deshalb liegen Quoten für Hauptprobleme weit unter denen für Teilaufgaben: Im Original-Paper löste das damals beste Modell, Claude 3.5 Sonnet, im realistischsten Setting nur 4,6 % der Hauptprobleme.

Die Werte hier stammen von Artificial Analysis (AA), das alle Modelle selbst und einheitlich testet. AA nutzt das Testset mit 65 Hauptproblemen und 288 Teilaufgaben, gibt die von Wissenschaftlern geschriebenen Hintergrundinfos mit in den Prompt und wertet auf Ebene der Teilaufgaben aus: pass@1 über drei Durchläufe. Seit September 2026 darf jedes Skript 300 statt 60 Sekunden rechnen, AA hat dafür neu bewertet (Datensatz-Version 1.0.1). Bei mehreren Reasoning-Stufen zeigt Byte die höchste gemessene Stufe. Zahlen aus dem Paper, von der SciCode-Website oder von Herstellern sind nicht direkt vergleichbar.

SciCode verlangt drei Dinge zugleich: Fachwissen abrufen, naturwissenschaftlich schlussfolgern und numerisch korrekten Code schreiben. Es geht nicht um Bugfixes in Repositories oder Tool-Calls, sondern um Simulationen, Gleichungslöser und Auswertungen. Wenn du ein Modell für wissenschaftliches Rechnen suchst, ist SciCode deshalb aussagekräftiger als allgemeine Coding-Benchmarks. Im Artificial Analysis Intelligence Index zählt SciCode mit 10 %.

Der Datensatz hat bekannte Fehler. Das unabhängige Audit SciCode-Verified (August 2026) fand in den 65 Testproblemen 263 Defekte, 192 davon werten korrekte Lösungen als falsch, betroffen sind 91 % der Hauptprobleme. Auf dem korrigierten Datensatz kamen zwölf Spitzenmodelle auf 84 bis 98 % der Teilaufgaben statt 45 bis 60 %. AA prüft die Befunde und will bei einem Wechsel alle Modelle neu testen. Abstände von wenigen Prozentpunkten solltest du bis dahin nicht überbewerten. Zudem nehmen die mitgelieferten Hintergrundinfos den Modellen einen Teil der Wissensarbeit ab.