Claude Nerf: Wird Opus 5.5 nach dem Launch wirklich dümmer?

Eine Woche nach dem Start von Opus 5.5 hatte ein Reddit-Thread fast 2.700 Upvotes, und das Urteil war klar: Anthropic hat das Modell nach dem Launch heimlich dümmer gemacht. Dieses Mal gibt es aber Leute, die jeden Tag mitzählen. Bis jetzt hat kein einziger öffentlicher Tracker Opus 5.5 dabei erwischt, wie es schlechter wird. In diesem Artikel erfährst du, woran du einen echten Nerf erkennst, woran nicht, und wie du dir deinen eigenen kleinen Tracker baust.

Was ist ein Nerf und warum glauben so viele daran?

„Nerf“ heißt: Ein Modell wird nach dem Launch schwächer gemacht, ohne dass es jemand ankündigt. Den Verdacht kennst du wahrscheinlich aus eigener Erfahrung. Die ersten drei Tage mit einem neuen Modell fühlen sich an wie Magie. Du planst plötzlich größere Projekte. Dann, irgendwann in der ersten Woche, übersieht es etwas ganz Einfaches. Dann noch einmal. Und du fragst dich, ob das noch dasselbe Modell ist.

Das passiert nicht nur bei Claude. Ungefähr eine Woche nachdem GPT-6 Astra im September erschienen ist, haben Entwickler gepostet, es sei dümmer geworden. Zwei Wochen später war Claude dran. Diesmal hieß ein Thread mit über 2.000 Upvotes sinngemäß: wie man es misst, wie man es erkennt, wie man klagt. Reddit ist also vom Dampfablassen zum Beweissammeln übergegangen. Ein paar Leute sind den ganzen Weg gegangen und haben eigene Benchmarks gebaut, die das Modell jeden Tag testen.

Warum braucht es dafür Fremde aus dem Internet? Weil die KI-Firmen dir sehr wenig sagen.

Was ändern Anthropic und OpenAI wirklich am Modell?

In der Dokumentation von Anthropic steht, dass sich die Gewichte hinter einer Modell-ID nie ändern. Gewichte sind die Zahlen, die das Modell im Training gelernt hat, quasi sein Wissen. Auf derselben Seite steht aber auch: Der Router, die Safety-Filter und das Sampling rund ums Modell können sich ändern, mit kleinen Unterschieden im Verhalten.

Bei OpenAI klingt das ähnlich. Ted Sanders von OpenAI hat gesagt: dieselben Gewichte, und zwar den ganzen Tag, keine Quantisierung. Quantisierung heißt, die gelernten Zahlen ungenauer auszuliefern, um Rechenkosten zu sparen. Die Tools, die Prompts und die Effort-Einstellungen von ChatGPT werden aber angepasst.

Kurz gesagt: Das Modell bleibt eingefroren, aber alles drumherum bewegt sich. Und das passiert schnell:

• In den 11 Tagen nach dem Launch von Opus 5.5 hat Anthropic mehrere neue Versionen von Claude Code veröffentlicht.
• Codex hat GPT 6.1 Sol eine Woche nach GPT 6 Sol schon zum Standard gemacht.
• Bei Opus 5.5 kann ein Safety-Filter deine Anfrage an ein älteres Modell weiterreichen. In Claude Code bleibt dann die ganze restliche Session auf diesem älteren Modell. Anthropic sagt, die meisten Anfragen landen nie dort. Eine Zahl dazu gibt es nicht.

Genau das stört mich. Beim Launch wird groß gefeiert, aber was danach still geändert wird, erfährst du kaum. Ich habe auch das Gefühl, dass Modelle nach dem Launch nachlassen, und viele andere haben es auch. Aber ein Gefühl ist kein Beweis.

Wie misst LiveNerf, ob Opus 5.5 schlechter wird?

Der Tracker, auf den gerade alle schauen, heißt LiveNerf. Gebaut wurde er am Launchtag von Opus 5.5. Der Autor beschreibt sich selbst als Physikstudent. Er lässt Opus 5.5 über Claude Code mit einem Max-Abo laufen, also so, wie es die meisten von uns nutzen. Glaubwürdig macht den Tracker aber vor allem die Art, wie er misst.

Die Fragen. Der Autor hat über 2.000 Benchmark-Fragen jeweils viermal laufen lassen. 97 % davon kamen immer richtig oder immer falsch zurück. Das Problem: Eine Frage, die das Modell immer trifft, trifft es auch noch, wenn es ein bisschen nachlässt. Deshalb hat LiveNerf nur die 78 Fragen behalten, die das Modell mal richtig und mal falsch beantwortet. Nur die können sich überhaupt bewegen.

Die Bewertung. Gezählt wird nur, ob die Antwort exakt stimmt. Kein anderes Modell spielt Richter, weil der Richter ja selbst driften könnte.

Die Umgebung. Jeder Aufruf läuft nackt: keine Tools, keine MCP-Server, keine CLAUDE.md, Effort auf High. Claude Code selbst ist auf eine feste Version gepinnt. Denn ein geänderter Harness sieht genauso aus wie ein geändertes Modell. Der Harness ist die App ums Modell herum: ihre Prompts, ihre Tools und wie sie mit dem Kontext umgeht.

Die Kontrolle. Das ältere Opus 5 beantwortet jeden Tag einen Teil derselben Fragen. Fallen beide Modelle am selben Tag ab, liegt das Problem an der Plattform und nicht an Opus 5.5.

Die Regeln. Sie standen fest, bevor die ersten Daten reinkamen. Ein Abfall zählt nur, wenn er mit 99 % Sicherheit größer ist als das normale Wackeln, und zwar in zwei 10-Tage-Fenstern hintereinander. Die ersten 10 Tage sind die Vergleichsbasis. Deshalb kommt das früheste Urteil um den 24. Oktober.

Was der Tracker bisher zeigt

Als Reddit den Nerf ausgerufen hat, ist der Tageswert von LiveNerf um etwa 7 Punkte gefallen. Das sieht erst einmal aus wie ein Beweis. Bis du weißt, dass ein einzelner Tag rein zufällig um etwa 11 Punkte schwanken kann, nach oben wie nach unten. An Tag 10 ist die Linie direkt wieder hochgesprungen. Ein Kommentar darunter lautete sinngemäß: Oh mein Gott, sie haben es gebufft, also stärker gemacht.

Welche Nerf-Tracker gibt es noch?

LiveNerf ist nicht der einzige, der mitzählt. Hier die Tracker und Fälle aus dem Video im Überblick:

MarginLab ist dabei die Ausnahme. Viele der lautesten Beweisposts haben sich als falsch herausgestellt. Und selbst der Autor von LiveNerf sagt offen, dass sein Werkzeug noch grob ist. Das ist ehrlich und wichtig: Diese Tracker sind Hinweise, keine Gerichtsurteile.

Warum fühlt sich das Modell dümmer an, obwohl es gleich bleibt?

Bleibt die spannende Frage: Wenn sich das Modell nicht geändert hat, warum spüren es dann so viele zur selben Zeit? Dafür gibt es drei Gründe.

Grund 1: Pech im großen Maßstab

Sagen wir, ein Modell scheitert an einer von 10 Aufgaben. Dann passieren drei Fehlschläge hintereinander einmal in 1.000 Fällen. Wenn jetzt eine Million Leute je drei Aufgaben ausprobieren, erwischen rund 1.000 davon am selben Tag diese Pechsträhne, ohne dass sich irgendetwas verändert hat. Ein paar davon posten darüber. Und niemand postet: „Bei mir läuft alles gut.“

Grund 2: Die Flitterwochen

Erinnerst du dich an die ersten drei Tage mit deinem neuen Modell? Sagen wir, dein altes Modell landet zwischen 45 und 55 Punkten und das neue zwischen 50 und 60. Dann gewinnt das alte trotzdem noch in einem von acht Fällen. In der ersten Woche erinnerst du dich an die Siege. In der zweiten Woche erwartest du nur noch das obere Ende. Jeder schwächere Wurf fühlt sich dann an wie ein Nerf.

Ted Sanders von OpenAI hat gesagt, seine beste Vermutung sei Zufall plus steigende Erwartung. Und ein Entwickler auf Hacker News, der seine eigene Chat-App komplett selbst betrieben hat, von den Grafikkarten bis zur Oberfläche, hat erzählt: Seine Nutzer haben sich regelmäßig über Nerfs beschwert, obwohl sich nichts geändert hatte.

Grund 3: Dein eigenes Setup

Der zweite Verdächtige sitzt bei dir. Ein paar Beispiele aus dem Material:

• Als Opus 5.5 kam, hat Claude Code aufgehört, ein gespeichertes Effort-Level auf neue Modelle mitzunehmen. Wer vorher High eingestellt hatte, war plötzlich wieder beim Standard.
• Bei einem Nutzer wurde eine ganz normale Anfrage als Cyber-Anfrage markiert, und die Session ist auf Opus 4.8 gewechselt.
• Lange Sessions werden von allein schlechter. Laut einer Studie schneiden Modelle 39 % schlechter ab, wenn eine Aufgabe über viele Nachrichten verteilt ist, statt in einem klaren Prompt zu stehen.

Bevor du an einen Nerf glaubst, prüf also drei Dinge: Welches Effort-Level ist gerade wirklich aktiv? Antwortet überhaupt das Modell, das du erwartest? Und wie lang ist deine Session schon?

Wie baust du deinen eigenen Nerf-Tracker?

Dein eigener Tracker sollte klein und langweilig sein, genau wie LiveNerf. Er misst nicht die Welt, sondern deine Arbeit. Im Video zeige ich dir das Prinzip Schritt für Schritt, hier ist die Kurzfassung.

1Schritt 1: Prüfbare Aufgaben sammeln

Nimm 20 bis 50 Aufgaben aus deiner eigenen Arbeit, bei denen die Antwort prüfbar ist. Ein gutes Beispiel ist ein Test, der durchläuft oder eben nicht. Wichtig: Du musst die richtige Antwort schon kennen. Aufgaben, bei denen du über die Qualität diskutieren müsstest, gehören nicht hinein.

2Schritt 2: Alles festnageln, was sich bewegen kann

Leg die Modell-ID fest und setz das Effort-Level bei jedem Lauf selbst. Verlass dich nicht auf gespeicherte Einstellungen, denn genau die sind beim Wechsel auf Opus 5.5 verloren gegangen.

3Schritt 3: Jeden Lauf protokollieren

Schreib bei jedem Lauf mit:

• das Ergebnis (richtig oder falsch),
• die verbrauchten Tokens,
• welches Modell tatsächlich geantwortet hat,
• welche Harness-Version lief, also zum Beispiel welche Claude-Code-Version.

So kannst du später unterscheiden: Lag es am Modell, an einem Wechsel auf ein älteres Modell oder an einem Update der App?

4Schritt 4: Die Regel vor Tag 1 aufschreiben

Leg fest, ab wann ein Abfall für dich zählt, bevor die ersten Daten reinkommen. Sonst biegst du dir die Regel hinterher so zurecht, dass sie zu deinem Gefühl passt.

5Schritt 5: Genug Läufe sammeln, statt täglich zu panikieren

Wenn du jeden Tag draufschaust und beim ersten deutlichen Einbruch in Panik gerätst, liegt deine Chance auf einen Fehlalarm innerhalb eines Monats bei fast 4 zu 5. Um einen Abfall von 10 Punkten überhaupt zu erkennen, brauchst du grob 300 bewertete Läufe davor und 300 danach. Mit 50 Aufgaben zweimal am Tag bist du in ein paar Tagen so weit.

Fazit

Beim festen Modell sagen beide großen Anbieter, dass sich die Gewichte nicht ändern. Die Einbrüche, die Tracker wirklich erwischt haben, kamen größtenteils von der Software ums Modell herum. Diese Software ändert sich ständig, und sie kann dein Claude Code tatsächlich schlechter machen. Offiziell hörst du dazu meistens wenig.

Für dich heißt das: Lass dich nicht von einem Reddit-Thread verrückt machen. Prüf zuerst dein eigenes Setup, also Effort-Level, Modell und Sessionlänge. Behalte LiveNerf im Auge, gegen Ende des Monats gibt es mehr Daten. Und leg dir 20 eigene Aufgaben an, bei denen du die richtige Antwort schon kennst. Dann misst du nach, statt nur zu glauben.