MMMU — Übersicht

MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) ist ein umfassender multimodaler Benchmark zur Bewertung von KI-Modellen anhand von 11.550 Aufgaben auf Hochschulniveau, die tiefgehendes Fachwissen und visuelles Reasoning erfordern. Der MMMU Benchmark deckt sechs Kerndisziplinen (Kunst & Design, Wirtschaft, Naturwissenschaften, Medizin, Geistes- & Sozialwissenschaften, Technik & Ingenieurwesen) mit insgesamt 30 Fachgebieten und 183 Teilbereichen ab. Die Fragen stammen aus Prüfungen, Quizzen und Lehrbüchern und enthalten 30 verschiedene Bildtypen wie Diagramme, Tabellen, chemische Strukturen, Musiknoten und medizinische Aufnahmen. Menschliche Experten erreichen im Durchschnitt 82,6% Genauigkeit.

Paper Website GitHub Dataset CVPR Paper

Beispielaufgaben aus dem MMMU Benchmark

Die folgenden Beispielaufgaben zeigen typische Fragestellungen, die im MMMU Benchmark vorkommen.

Baxter Company has a relevant range of production between 15,000 and 30,000 units. The following cost data represents average variable costs per unit for 25,000 units of production. If 30,000 units are produced, what are the per unit manufacturing overhead costs incurred? (A) $6 (B) $7 (C) $8 (D) $9

B

For the four identical current-carrying wires shown (with conventional current coming out of the plane of the page), the wire on the right is labeled P. What is the direction of the total magnetic force on the wire labeled P that is caused by the other wires? (A) To the left (B) To the right (C) Towards the top of the page (D) There is no force.

A

Find lim(x->2) [x]. [As usual, [x] is the greatest integer <= x, See Fig. 6-1] (A) 1 (B) 2 (C) Not exist

C

Maxwell Software, Inc., has the following mutually exclusive projects. Suppose the company uses the NPV rule to rank these two projects. Which project should be chosen if the appropriate discount rate is 15 percent? (A) Project A (B) Project B

B

Suppose you discovered a mutant yeast whose glycolytic pathway was shorter because of the presence of a new enzyme catalyzing the reaction shown. Would shortening the glycolytic pathway in this way benefit the cell? (A) Yes. (B) No. (C) Not sure.

B