Anthropic warnt im Börsenprospekt: Schwelle für KI-beschleunigte Forschung rückt nah

Ausgerechnet im Kleingedruckten seines Börsenprospekts schreibt Anthropic, dass es die Schwelle seiner Sicherheitsregeln für stark KI-beschleunigte Forschung womöglich bald erreicht. In der geänderten Registrierungsunterlage S-1/A, die das Unternehmen am 2. November 2026 bei der US-Börsenaufsicht SEC eingereicht hat, heißt es: Interne Schätzungen zu künftigen Modellen deuteten darauf hin, dass man die Definition für „dramatically accelerated progress attributable to AI“ „imminently“ erfüllen könnte.

Gemeint ist ein Fortschritt, bei dem KI das Tempo der KI-Entwicklung ungefähr verdoppelt. Anthropic selbst ordnet das der Debatte um rekursive Selbstverbesserung zu, kurz RSI. Heutige Modelle liegen nach Angaben des Unternehmens noch unter der Schwelle. Wir haben uns angeschaut, was die Schwelle in der Responsible Scaling Policy bedeutet, was Anthropic ändern will und wie ernst die Warnung im Börsengang zu nehmen ist.

Was steht in Anthropics S-1/A?

Die Passagen stehen im Abschnitt „Risk Factors“, der laut Inhaltsverzeichnis auf Seite 27 beginnt.

Bereits die Erstfassung vom 26. Oktober enthielt einen Abschnitt zur „AI-driven acceleration“. Mit der Anpassung sind jetzt aber zwei weitere Aussagen dazugekommen:

• die Bemerkung, dass Anthropic Entwicklunssprünge häufig erst im Nachhinein bemerkt hat
• die Ergänzung, dass die Schwelle zu RSI bald erreicht sein könnte.

Zudem kann unser zunehmender Einsatz von KI-Systemen zur Beschleunigung unserer eigenen Forschung und Entwicklung dazu führen, dass die Fähigkeiten unserer Modelle schneller wachsen als unsere Fähigkeit, entsprechende Maßnahmen für Sicherheit, Alignment und Schutz zu entwickeln, zu validieren und umzusetzen. Infolgedessen haben wir in der Vergangenheit eine deutliche Beschleunigung unseres Entwicklungstempos erst erkannt, nachdem sie eingetreten war, und das kann auch künftig geschehen.

Anthropic, S-1/A vom 2. November 2026

Unsere internen Schätzungen und unsere Erwartungen zu künftigen Modellen, nicht zu unseren aktuellen Modellen, deuten zum Beispiel darauf hin, dass wir die Definition unserer Responsible Scaling Policy für ‚dramatisch beschleunigten, der KI zuzuschreibenden Fortschritt‘ in Kürze erfüllen könnten. Wir haben keines unserer aktuellen Modelle als oberhalb dieser Schwelle eingestuft und prüfen die zugrunde liegenden Daten weiter.

Anthropic, S-1/A vom 2. November 2026

Welche Modelle Anthropic mit der zu spät erkannten Beschleunigung meint, steht in den Passagen nicht. Allerdings schriebe Anthropic schon im Februar 2026 auf seiner RSP-Seite, dass es bei Claude Opus 4.5 und Claude Opus 4.6 „zunehmend schwierig“ werde, die Schwelle AI R&D-4 sicher auszuschließen. Die nötigen Einschätzungen seien subjektiver, als dem Unternehmen lieb sei.

Was ist RSI, und wie nah ist Anthropic dran?

Als RSI wird gemeinhin der Punkt bezeichnet, an dem KI so gut darin wird, sich selbst zu trainieren, dass die Fähigkeiten der Modelle dramatisch schneller wachsen. Es ergibt sich ein Kreislauf: Ein System verbessert sich autonom, die verbesserte Version verbessert sich wieder und so weiter. Für Pessimisten ist das der Punkt, an dem KI menschlicher Kontrolle entgleitet, für Befürworter das große Versprechen der Technik, eine "Cambrian Explosion" an Intelligenz.

Anthropic nutzt den Begriff nur mit Distanz. KI zu nutzen, um fähigere KI zu bauen, könne ein „erhebliches Sicherheitsrisiko“ sein, besonders wenn es das Tempo stark beschleunige, heißt es in der Unterlage. Die RSP lege fest, wie man diese Risiken überwache und mindere, während man sich dem nähere, „was als ‚rekursive Selbstverbesserung‘ bezeichnet wird“. Statt des unscharfen Begriffs misst Anthropic an einer eigenen, enger definierten Schwelle.

Der Kreislauf KI-beschleunigter Forschung

1. KI hilft bei der eigenen Forschung – Anthropic setzt KI ein, um die eigene Forschung zu beschleunigen
2. Fähigere Modelle entstehen – Fähigkeiten wachsen womöglich schneller als die Schutzmaßnahmen
3. Kontrollpunkt: Menschen entscheiden – Keine autonome Entwicklung neuer Generationen ohne menschliche Aufsicht
4. Nächste Generation forscht schneller – Verdoppelt KI das Fortschrittstempo, ist die RSP-Schwelle erreicht

Responsible Scaling Policy: Was die Schwelle bedeutet

Die Responsible Scaling Policy gibt es seit September 2023. Sie legt Fähigkeitsschwellen fest, ab denen Anthropic seine Schutzmaßnahmen verschärfen muss.

Eine aktuelle Schwelle ist z.B., dass KI zwei Jahre Fortschritt im gemessenen Tempo von 2018 bis 2024 in ein einziges Jahr pressen kann. Die Rate des gesamten KI-Fortschritts verdoppelt sich also (exponentielles Wachstum).

In der Vergangenheit hat Anthropic das Framework regelmäßig aktualisiert. Mit der aktuellen Version 3.4 der RSP versucht Anthropic das befürchtete Bedrohungsszenario einer exponentiell wachsenden Entwicklungsrate besser abzubilden.

Im Börsenprospekt an die SEC formuliert Anthropic dies wie folgt:

• Das Unternehmen will „ehrgeizige und möglicherweise unkonventionelle Wege“ zu einem nie dagewesenen Sicherheitsniveau erkunden.
• Ein Zustand namens „eyes on everything“ soll alle internen Entwicklungsaktivitäten lückenlos überwachbar machen.
• Das interne Red-Teaming soll so gut werden, dass Anthropic nicht mehr auf Bug-Bounties angewiesen ist.

Zwei dieser Punkte stehen bereits als Ziele im Frontier Safety Roadmap.

Für „eyes on everything“ will Anthropic bis 1. Januar 2027 zentrale Aufzeichnungen aller kritischen Entwicklungsaktivitäten aufbauen und sie von KI auf auffälliges Verhalten von Menschen und KI prüfen lassen.

Das Red-Teaming-Ziel meldete Anthropic am 19. Oktober als erreicht: Ein automatisiertes System war in allen 24 Paaren aus Testfrage und Klassifikator mindestens so gut wie die beste menschliche Einreichung, gewann 23 davon und brauchte dafür 24 bis 48 Stunden.

Geplante RSP-Änderung: Menschen sollen die Kontrolle behalten

Wir gehen nicht davon aus, Claude sicher dafür einsetzen zu können, aufeinanderfolgende Generationen von Frontier-Modellen vollständig autonom und ohne nennenswerte menschliche Aufsicht oder menschliches Verständnis zu entwerfen und zu bauen, falls und sobald das technisch möglich wird. Deshalb erwägen wir Änderungen an unserer Responsible Scaling Policy, damit Menschen bei Anthropic die Kontrolle über die Entwicklung von Frontier-Modellen behalten.

Anthropic, S-1/A vom 2. November 2026

Wie die Änderung aussehen soll und wann sie kommt, steht in der Unterlage nicht. Schon seit Version 3.1 hält die RSP fest, dass Anthropic die Entwicklung seiner KI-Systeme pausieren darf, wann immer es das für angemessen hält, auch wenn die Policy das nicht verlangt. Am 19. Oktober hat Anthropic außerdem ein neues Roadmap-Ziel gesetzt: ein Policy-Rahmenwerk, um das Tempo der KI-Entwicklung gezielt zu steuern, fällig am 15. Januar 2027. Ob es mit der angekündigten Änderung zusammenhängt, sagt Anthropic nicht.

Anthropic-Börsengang: Warnung neben neuen Quartalszahlen

Die S-1/A ist die erste Änderung des Prospekts. Anthropic will an den Nasdaq Global Select Market, Kürzel „ANT“. Preisspanne und Termin sind in der Unterlage noch leer. Als Public Benefit Corporation muss das Unternehmen die Interessen der Aktionäre mit seinem Gemeinwohlzweck abwägen. Ein Long-Term Benefit Trust wählt die Mehrheit des Boards, die Gründer halten über eine eigene Aktienklasse 50,1 % der Stimmrechte.

Neu sind vor allem die Zahlen zum dritten Quartal. Laut Fortune stieg der Umsatz auf 17 Mrd. US-Dollar, das Wachstum hat sich aber verlangsamt. Teure, kurzfristig zugekaufte Rechenleistung drückte Anthropic in einen operativen Verlust. Insgesamt hat sich das Unternehmen zu Ausgaben von rund 895,4 Mrd. US-Dollar verpflichtet, vor allem für Rechenleistung und Infrastruktur.

Wie ernst ist Anthropics Warnung zu nehmen?

Mehrere Marktteilnehmer äußern sich skeptisch gegenüber der Drohkulisse, die Anthropic aktuell aufbaut. TechCrunch sieht das Ganze als eine Art Marketing-Trick und das Tech-Magazin Gizmodo nennt RSI ein „etwas nebulöses Konzept“ und merkt spöttisch an, Anthropic müsse sich mit den angekündigten Schutzmaßnahmen dann wohl beeilen. Für eine Einordnung zählen vier Punkte:

• Vorsichtig formuliert: Anthropic schreibt „may“, stützt sich auf interne Schätzungen zu künftigen Modellen und nennt weder Messwerte noch Zeitraum.
• Konkretes Eingeständnis: Eine Beschleunigung erst im Nachhinein zu erkennen, trifft eine Policy, die Risiken überwachen soll, während sich Modelle einer Schwelle nähern.
• Schwierigere Selbstprüfung: Schon bei Opus 4.5 und 4.6 nannte Anthropic die eigene Schwellenbewertung subjektiver als gewünscht.
• Reale Fortschritte: Claudes Fähigkeiten sind unbestreitbar in diesem Jahr vor allem in den Bereichen Coding, Mathematik und Cybersicherheit stark gewachsen.

Unsere 2 Bytes:

RSI gilt aktuell noch als ein entferntes Ziel, das für viele KI-Forscher aber der logische Schluss von Künstlicher Intelligenz ist. Anthropic malt nun ein Bild, dass selbstverbessernde KI-Systeme deutlich früher geschaffen werden können, als bislang angenommen.

Wir nehmen die Einschätzung von Anthropic durchaus ernst. Ansätze für RSI-Systeme gibt es schon lange. Gepaart mit dem unbestreitbar exponentiellem Wachstum von KI-Fähigkeiten lässt sich "RSI in 2027 oder 2028" inzwischen nicht mehr als unrealistisch darstellen. Unsere Hoffnung ist, dass insbesondere Regulatoren und externe Prüfer ausreichend Einfluss haben, um die Guardrails der Frontier-Labs zu validieren, um negative Folgen möglichst einzuschränken.