FrontierMath

FrontierMath ist ein MathematikBenchmark für LLMs. FrontierMath besteht aus hunderten anspruchsvollen mathematischen Problemstellungen, die von über 60 führenden Mathematikern erstellt und überprüft wurden (u.a. befand Terence Tao die Aufgaben als "außergewöhnlich anspruchsvoll"). Die Aufgaben decken die meisten großen Teilgebiete der modernen Mathematik ab. Sie reichen von rechenintensiven Problemen der Zahlentheorie und der reellen Analysis bis hin zu abstrakten Fragestellungen der algebraischen Geometrie und Kategorientheorie. 300 der FrontierMath Fragen sind in die Schwierigkeitsstufen 1-3 (Bachelor- bis frühes Doktoranden-Niveau) kategorisiert. Die restlichen 50 gehören zur Stufe 4, dem aktuellen Forschungsniveau. Insgesamt wurden nur 12 Aufgaben aus dem Benchmark veröffentlicht, um eine Datenkontamination, bzw. das Post-Training von Modellen zum Verfälschen der Benchmark-Ergebnisse, zu verhindern. Die Lösung eines typischen Problems aus dem FrontierMath Datensatz erfordert von einem Mathematiker, der sich im jeweiligen Fachgebiet auskenn, mehrere Stunden an Arbeit. Für die schwierigsten Aufgaben können menschliche Probanden gar mehrere Tage für die Lösung brauchen.