Text-to-Image Arena

Die Text-to-Image Arena von Artificial Analysis bewertet Bildmodelle mit einem Elo-Wert aus blinden Paarvergleichen, in denen Menschen das bessere Bild zum selben Prompt wählen.

Die Arena misst, welche Bilder Menschen bevorzugen. Zwei Modelle erzeugen aus demselben Prompt je ein Bild. Die Bewerter sehen beide nebeneinander, ohne zu wissen, welches Modell dahintersteckt, und wählen das bessere. Links und rechts werden zufällig vergeben, die Modellnamen erscheinen erst nach der Stimme.

Aus allen Stimmen berechnet Artificial Analysis mit einem Bradley-Terry-Modell einen Wert auf der Elo-Skala, wie man sie aus dem Schach kennt. Wer öfter gewinnt, vor allem gegen starke Gegner, steigt. Die Skala ist relativ: FLUX.2 [dev] ist auf 1000 fixiert. Aussagekräftig sind deshalb Abstände, nicht absolute Zahlen. Überlappen sich die Konfidenzintervalle, teilen sich Modelle einen Rangbereich, etwa Rang 4 bis 6 für Nano Banana 2.1 (1172), Grok Imagine Image 2.0 (1166) und MAI-Image-2.6 (1164).

Beim Start 2024 konnte jeder Besucher abstimmen. In der aktuellen Version AA-Image-T2I v2.1 urteilt laut Artificial Analysis ein großer Pool vorab geprüfter, privater Bewerter, und eine Stimme zählt erst nach einer Mindestbetrachtungszeit. Die englischen Prompts sind von Menschen kuratiert und decken zehn Anwendungsfälle ab, von Werbung und Produktfotos über UI-Mockups und Infografiken bis zu Konzeptkunst für Spiele. Dazu kommen neun Fähigkeiten wie Text-Rendering, Layout, Licht, Physik und Anatomie. Jede Kombination zählt gleich viel, und jeden Monat fliegen Prompts raus, die die Modelle nicht mehr unterscheiden.

Für ein Bild gibt es keine richtige Lösung, die sich automatisch prüfen ließe. Das menschliche Urteil ist deshalb der naheliegende Maßstab. Alle Modelle laufen mit ihren Standardeinstellungen und erzeugen ein Bild pro Prompt im Format 1:1, das für den Vergleich auf 1024 × 1024 Pixel skaliert wird. Neben der Gesamtwertung gibt es Ranglisten je Anwendungsfall und Fähigkeit. Wenn du vor allem Text im Bild brauchst, lohnt der Blick dorthin: Beim Text-Rendering führt GPT Image 2 (high), in der Gesamtwertung liegen beide Varianten von GPT Image 2.5 vorn.

Die Grenzen: Die Arena misst Vorlieben, keine Korrektheit. Ein ästhetisch starkes Bild kann gewinnen, obwohl es Details des Prompts übergeht. Getestet werden nur englische Prompts, nur quadratische Bilder und nur Standardeinstellungen; Bildbearbeitung hat eine eigene Rangliste, Modelle ohne öffentliche API fehlen ganz. Neue Modelle haben weniger Stimmen und damit breitere Intervalle, FLUX 3 Image etwa 5.672 Vergleiche gegenüber 15.683 bei Nano Banana 2. Laut Artificial Analysis fallen die Intervalle eher zu eng aus, weil Stimmen derselben Person oder zum selben Prompt als unabhängig gelten. Und Elo-Werte sind nur innerhalb dieser Rangliste vergleichbar, nicht mit anderen Arenen.