Was ist ein World Model? Beispiele für KI-Weltmodelle (2026)

Nachdem große Sprachmodelle (LLMs) inzwischen Doktoranden-Niveau erreicht haben, taucht 2026 immer häufiger ein Begriff für eine neue Art von KI-Modellen auf: World Models.

Statt nur Texte vorherzusagen, bauen diese Modelle eine interne Repräsentation der Welt auf und simulieren Physik, Objekte und Kausalitäten.

In diesem Artikel erklären wir dir, was World Models genau sind, wie sie funktionieren, und wie der Output wirklich aussieht. Am Ende gibt es eine kurze Einschätzung für die weitere Entwicklung von Weltmodellen in den kommenden Jahren.

1. Was ist ein AI World Model?

KI-Agenten können mit einem World Model planen und handeln, ohne alles per Trial-and-Error in der echten Welt lernen zu müssen. World Models werden deswegen heute bereits in Robotern, autonomen Autos und interaktiver Videogenerierung verwendet.

Von wem werden World Models entwickelt?

World Models sind kein einzelnes Produkt, sondern eine Modellklasse. Trainiert werden die sogenannte World Foundation Models auf riesigen realen und synthetisch hergestellten Datensätzen und benötigen entsprechend große Datenzentren, was eine Hürde für viele Entwickler darstellt.

Noch ist öffentlich nicht bekannt, ob die Labs hinter den führenden LLMs, wie Anthropic oder OpenAI, auch an Weltmodellen arbeiten. Zu den bekannten Entwicklern gehören aber andere große Namen, wie NVIDIA und (Google) DeepMind.

Auch Meta AI verfolgte mit Yann LeCun den Ansatz einer JEPA-Architektur (Joint Embedding Predictive Architecture). V-JEPA 2 erreichte sogar Bestwerte bei Videoverständnis und physikalischem Reasoning, was die Steuerung von Robotern "zero-shot", also ohne Training in der jeweiligen Umgebung, ermöglichte. Um den Vorsprung der anderen Labs im LLM-Bereich einzuholen, distanzierte sich Meta aber vom Fokus auf Weltmodelle und Yann LeCun setzt nun seine Arbeit in seinem eigenen Startup AMI Labs fort.

Es gibt aber auch viele kleinere Research Labs, die die Forschung an Weltmodellen vorantreiben. Startups wie WorldLabs mit Marble oder das chinesische Robbyant mit LingBot-World konnten bereits beeindruckende Demos von Weltmodellen zeigen.

Woher kommt die Ursprungsidee von Weltmodellen?

Der Begriff "World Model" ist älter, als du vermutlich denkst. Der deutsche Informatiker Jürgen Schmidhuber prägte „World Model" im Machine Learning bereits 1990.

Weltmodelle sind rekurrente neuronale Netze, die künftige Zustände aus Beobachtungen vorhersagen.

2018 belebten David Ha und Schmidhuber das Konzept neu. Ihre Agenten lernten virtuelle Autos zu fahren und Videospiele zu spielen, und zwar innerhalb selbst erzeugter Simulationen.

Yann LeCun lieferte 2022 den dritten Meilenstein: In einem Positionspapier argumentierte er, Intelligenz brauche vorhersagende Weltmodelle statt reinem Pattern Matching, und schlug JEPA als Grundlage vor. Wie genau das technisch funktioniert, schauen wir uns im nächsten Kapitel an.

2. Wie funktioniert ein World Model?

Ein World Model baut eine interne Repräsentation seiner Umgebung auf und sagt vorher, wie sich diese Umgebung bei bestimmten Aktionen verändert. Klingt zunächst einmal abstrakt, aber der Kern lässt sich als ein simpler Kreislauf aus wahrnehmen, vorhersagen und planen darstellen:

Welche Komponenten stecken in einem World Model?

Die meisten Architekturen haben einen ähnlichen Aufbau. Zuerst komprimiert ein Encoder die rohen Eingaben (Video, Sensordaten, Bewegung) in einen Latent Space, also eine kompakte Zahlen-Repräsentation der Szene.

In diesem Latent Space arbeitet dann das eigentliche Vorhersage-Modul. Schmidhuber schlug dafür schon 1990 rekurrente neuronale Netze (RNNs) vor, die künftige Zustände aus Beobachtungen vorhersagen. Yann LeCun setzt seit 2022 auf die Joint Embedding Predictive Architecture (JEPA), die Vorhersagen direkt im Embedding-Raum trifft statt auf Pixel-Ebene.

Die wichtigsten Komponenten in einem Weltmodell lassen sich einfach also wie folgt zusammenfassen:

Warum Vorhersage im Latent Space statt auf Pixel-Ebene?

Weil das Modell im Endeffekt mehr als rein visuelle Bilder benötigt. Dynamik, Physik, Objekt-Interaktionen, Kausalität hilft dem Modell besser dabei, Zusammenhänge zu verstehen und auf andere Szenarien anwenden zu können.

Agenten können in Weltmodellen dann simulieren, planen und handeln, ohne eine Aktion "real" ausführen zu müssen. Ha und Schmidhuber zeigten das in 2018, indem ihre Agenten Videospiele und virtuelles Autofahren komplett innerhalb selbst erzeugter Simulationen lernten.

Wie werden World Models trainiert?

Ähnlich wie LLMs werden moderne World Foundation Models auf riesigen Mengen realer und synthetischer Daten vortrainiert. Der typische Ablauf sieht so aus:

1. Data Curation: Videos, Bilder, Sensor- und Bewegungsdaten werden gesammelt und gefiltert. Gute Datenselektion gilt auch heute noch als einer der wichtigsten Vorteile für das Training von KI-Modellen.
2. Tokenization: Die Rohdaten werden in kompakte Einheiten (Tokens) aufgeteilt, die das Modell verarbeiten kann. Die genaue Tokenisierung unterscheidet sich je nach Modell und verwendetem Tokenizer.
3. Pretraining: Das Modell lernt aus Datensätzen, in einer Größenordnung des gesamten Internets, was physikalisch als Nächstes passiert.
4. Post-Training und RL: Gezieltes Nach-Trainieren auf eigenen, optimierten Daten, passt das Foundation Model für konkrete Aufgaben an.

3. Aktuelle World Models im Überblick: Genie, Cosmos, V-JEPA 2 und Co.

So viel zur Theorie. Schauen wir uns nun an, welche World Models du in 2026 tatsächlich schon ausprobieren oder zumindest live sehen kannst.

Welche World Models sind 2026 relevant?

Wir haben versucht, die wichtigsten Player, die voraussichtlich auch in den kommenden Jahren eine wichtige Rolle spielen werden, hier zu sammeln:

Die 3 besten AI World Models im Test

Damit du ein gutes Gefühl dafür bekommst, wie World Models "aussehen", haben wir die – für uns – vielversprechendsten World Models gegenübergestellt. Hier der Überblick:

USA: Genie 3 von Google DeepMind

Genie 3 gilt 2026 allgemeinhin als eines der fortschrittlichsten Weltmodelle. Um so bedauerlicher, dass es nur über den teuren Google AI Ultra Plan und auch nur in den USA abrufbar ist.

Dennoch wurden von Usern mit Zugriff viele Videos von Genie 3 hochgeladen, die einen Eindruck über die Fähigkeiten des Modells geben:

China: Hunyuan-World 2.0 von Tencent

Die HY-World Modellreihe von Tencent gilt als eine der stärksten für chinesische Weltmodelle.

Im Video erhält man ab 0:40 Minuten einen Eindruck, wie Weltmodelle Anwendungen in Robotik-Simulierungen finden können:

Deutschland: WOW Klima-Modell vom KIT

Deutsche KI-Modelle hinken bekanntweise ja leider stark dem weltweiten Markt hinterher.

Bei Weltmodellen sieht es ähnlich aus, allerdings gibt es ein spannendes Projekt vom Karlsruher Institut für Technologie, das mit einer Fördersumme von 5-6 Mio. Euro das "WOW" Klima-KI-Modell trainiert.

WOW sollen Methoden erforscht und entwickelt werden, die verschiedene KI-Modellen zu einem großen Weltmodell kombinieren. Darunter fallen z.B.

• Emulationsmodelle für Klimaentwicklungen
• KI-Wettermodelle
• kleine Modelle für spezifische lokale Phänomene wie z.B. Waldbrände, Überschwemmungen, Erdbeben etc.

WOW weicht offensichtlich von den großen Weltmodellen der USA und China ab. Trotz des kleinen Budgets könnte das Modell in der Forschung aber dennoch einen Mehrwert bieten, um Zusammenhänge besser nachvollziehen zu können.

Der Nutzen: Warum lohnt sich das für Entwickler?

Es wäre legitim, wenn du nach dem Durchklicken der obigen Videos denkst: "Schöne Videos, aber welchen Mehrwert hat das jetzt?".

Was die Videos nicht zeigen ist, wie World Models Agenten planen und handeln lassen, ohne dass diese in der echten Welt teure Trial-and-Error Prozesse durchführen zu müssen.

Von den Weltmodell-Entwicklern werden im allgemeinen die folgenden Punkte als größte Vorteile von Weltmodellen herausgestellt:

• Sample Efficiency: Der Agent lernt in der Simulation günstiger und schneller, als mit teurer Hardware. NVIDIA zufolge schrumpft die Entwicklung durch vortrainierte WFMs plus gezieltes Post-Training von Jahren auf Monate.
• Safe Exploration: Fehler, die im Trainingsprozess häufig passieren, geschehen in einer Simulation und nicht an einem echten Roboterarm. Stell dir vor, ein humanoider Roboter soll darauf trainiert werden, Weingläser in eine Spülmaschine einzuräumen. Das vorige Training in einem Weltmodell dürfte die Anzahl an zerbrochenen Gläsern signifikant reduzieren.
• Planung: Das Modell lernt im Training, Folgen von Aktionen vorherzusagen, bevor sie ausgeführt werden. Genau dafür sind World Models gebaut und das macht sie für das Training von autonomen Systemen so wichtig.

Aktuelle Probleme von Weltmodellen: Physik-Halluzination und Drift

Vergleicht man World Models mit LLMs, dann befinden sich Weltmodelle noch in einem recht frühen Entwicklungsstadium. Aktuelle lassen sich besonders zwei Problematiken beschreiben, mit denen sich die Weltmodell-Entwickler auseinandersetzen:

Drift-Problematik

Insbesondere in Modellen vor 2026 kam es häufig zu einem sogenannten "Drift"-Phänomen. In einer Simulation für Gabelstapler verdoppeln sich zum Beispiel die Paletten, nachdem man eine Runde gefahren ist. Oder beim Simulieren des Streichens einer Wand werden Stellen wieder weiß, die eigentlich bereits gefärbt wurden.

Diese "Memory-Lücken" der simulierten Welt konnten z.B. in Genie 3 bereits zu großen Teilen aber noch nicht 100%-ig gefixt werden.

Physik-Halluzinationen

Fährt ein Auto seitwärts ohne Radbewegung oder fällt eine Feder in einem Weltmodell so schwer wie ein Stein, dann handelt es sich um physikalische Halluzinationen.

Solche Halluzinationen sind ein Kernproblem von Weltmodellen und jeder noch so kleine Vorhersagefehler summiert sich Frame für Frame auf. Wendet man die "Scaling Laws" auf Weltmodelle an, dann kann man u.U. davon ausgehen, dass mit wachsender Größe der Modelle diese Fehler in zukünftigen Modellen nachlassen dürften.

Unserer Einschätzung nach funktionieren Weltmodelle aktuell bereits sehr gut für kurze Zeithorizonte. Auch die Generierung von synthetischen Trainingsdaten beginnt produktiv zu werden. Verlässliche Langzeit-Simulationen sind aber noch ein Thema der Zukunft. Ähnlich wie Generative Video KI-Modelle können Weltmodelle nur wenige Sekunden an Material verlässlich erzuegen.

4. World Models vs. Generative Video-AI

Durch die Verschmelzung verschiedener Modelle in einem User-Interface (wie z.B. ChatGPT oder Gemini, die beide Text-, Audio- und Bild-Modelle verwenden), werden auch Begriffe wie World Model und Video-Generator leicht verwechselt.

Warum sind Sora, Runway & Co. keine Weltmodelle?

Sora und Runway erzeugen (noch?) Videos, die hauptsächlich gut aussehen sollen. Ein World Model simuliert hingegen Dynamiken wie Physik, Objekt-Interaktionen und Kausalität. Es sagt vorher, wie sich eine Umgebung als Reaktion auf Aktionen verändert.

Der Hauptunterschied steckt im Zweck:

Generative Video-AI Modelle haben das Ziel, Video-Clips auf Pixelbasis auszugeben.

Weltmodelle schaffen interaktiv steuerbare, fortlaufende Welten mit einem persistierenden Zustand.

Vergleich von generativen Video-KI-Modellen vs. Weltmodelle

World Model vs. LLM: Weltvorhersage statt Textvorhersage

Ein LLM sagt das nächste Token vorher. Ein World Model sagt den nächsten Weltzustand vorher, etwa über das Verstehen von Objekten in Videos, was prädiktive LLMs nicht können.

Yann LeCun argumentiert seit 2022, dass Intelligenz prädiktive Modelle der holistischen Welt braucht, statt einem reinen Pattern Matching, wie es bei Sprachmodellen aktuell der Fall ist. Genau da setzen World Models an.

Und was unterscheidet World Models vom Digital Twin?

Ein Digital Twin bildet ein konkretes System nach handgeschriebenen Regeln ab, ähnlich wie klassische Simulatoren. Präzise unter klargen, beschränkten Bedingungen, aber nutzlos außerhalb in unbekannten Szenarien.

Moderne World Models lernen aus ihren Daten Regeln und können ihr Wissen generalisieren und auch in unerwarteten Szenarien anwenden.

5. Vorteile und Nachteile von World Models

Für welche Anwendungen können Weltmodelle genutzt werden?

Weltmodelle bilden eine eigene Rubrik unter den KI-Modellen.

In folgender Tabelle haben wir eine Übersicht erstellt, für welche realen Anwendungsfälle welche Art von KI-Modellen genutzt werden sollte:

6. Fazit: Für wen World Models 2026 relevant sind

Unser Fazit zu Weltmodellen:

World Models sind 2026 so weit, dass sie beeindruckende interaktive Welten erzeugen können. Die letzten Prozente bis zur Produktionsreife fehlen allerdings noch. Ein Tool für „World Model herunterladen und loslegen", wie ChatGPT für Sprachmodelle, gibt es noch nicht.

Die Grundlagen von World Models existieren seit Jahrzehnten, Schmidhuber prägte den Begriff schon 1990. Mit der Entdeckung / Anwendung der Scaling Laws nimmt nun auch das Entwicklungstempo von Weltmodellen zu.

Pretrained World Foundation Models können bereits heute (mit leichten Einschränkungen) die Entwicklung proprietärer System-Anwendungen deutlich beschleunigen. Für Unternehmen und neuartige Felder wie Robotics sind Weltmodelle deswegen auch heute schon relevant. Für private Endnutzer wird es voraussichtlich noch mehrere Jahre dauern, bis die Modelle günstig genug sind, um nützliche Consumer-Apps auf Basis von Weltmodellen zu entwickeln.

FAQ: Häufig gestellte Fragen zu World Models