MMMU-Pro

MMMU-Pro ist eine Weiterentwicklung des MMMU-Benchmarks zur Bewertung multimodaler KI-Modelle. In 30 akademischen Benchmarks werden die KI-Modelle evaluiert. Im Vergleich zu MMMU wurden folgende Anpassungen vorgenommen: 1. Fragen, die auch ohne Bilder beantwortet werden können, wurden herausgefiltert. 2. Die Antwortoptionen wurden von vier auf zehn erhöht. 3. Ein Vision-only-Format wurde eingeführt,, bei dem Fragen direkt in Bilder eingebettet werden. Damit fallen die erzielten Benchmark Scores von MMMU-Pro im Vergleich zu MMMU im Schnitt zwischen 16,8 - 26,9 % über alle getesteten Modelle.