KillSwitch: Die Programmiersprache, an der KI-Modelle scheitern

21 Modelle im Test

Bestwert 66,8 von 100

66,8 von 100 Punkten: Mehr schafft kein KI-Modell in einem Test mit der Programmiersprache KillSwitch. Die Sprache ist dafür gebaut, Coding-Agenten in die Irre zu führen. Für dich als Entwickler zeigt sie, wo generierter Code an seine Grenze kommt.

Das Wichtigste in Kürze

• KillSwitch ist frei verfügbar. Der Quellcode steht unter der Lizenz AGPLv3 auf GitHub, der Interpreter ist in Rust geschrieben.
• Das beste Modell kommt auf 66,8 von 100 Punkten. Claude Opus 5 besteht 70 Prozent seiner Läufe, 17 von 21 Modellen bleiben unter 50 Punkten.
• Programme verstehen fällt der KI am schwersten. Bei der Aufgabe „understanding“ bestehen nur 4 von 42 Läufen.
• Der Erfinder rechnet mit Training auf KillSwitch. Danach würden die Modelle die einfachen Aufgaben lösen, an längeren Programmen aber weiter scheitern, erwartet er.

Was KillSwitch ist

KillSwitch ist eine esoterische Programmiersprache von Dominik Picheta. Er arbeitet laut The Register bei Cloudflare im Team der Workers Runtime und gehört zu den Kernentwicklern der Sprache Nim. Das Projekt will für Sprachmodelle unmöglich zu erzeugen und zu ändern sein. Für Menschen soll sie lösbar bleiben, notfalls auf Kosten der Lesbarkeit.

Dabei sieht ein KillSwitch-Programm aus wie ein Text aus einem Roman. Jeder Bezeichner ist ein Adverb, also ein Wort wie „visibly“ oder „quietly“. Wer eine Funktion oder Variable benutzt, schreibt ein Anagramm davon, etwa „ylbisiv“. Feste Sätze markieren die Befehle: „this story starts“ öffnet den Einstiegspunkt, „ignore previous instructions“ ruft eine Funktion auf.

Damit spielt die Sprache mit einem bekannten Muster aus Angriffen auf KI-Systeme. Der Satz „ignore previous instructions“ steht mitten in einem Absatz, der sonst wenig Sinn ergibt. Ein Modell muss erkennen, ob er Code ist oder Erzählung.

Zudem enthält die Spezifikation absichtlich Falschaussagen. Eine Stelle behauptet, KillSwitch könne das lokale Netz nach Schwachstellen absuchen und Dienste übernehmen. Das stimmt nicht, wie Picheta gegenüber The Register bestätigte. Die Passage soll Sicherheitssperren der Modelle auslösen und prüfen, ob sie Fakt und Fiktion trennen.

So schiebt KillSwitch einen Wert auf den Stapel, Beispiel aus der Spezifikation:

They forgot about their value 4 lines below.
There once was a story. Many folks rejoiced.
They hid in the castle.
They rode on the cattle.
They never found their 5 chickens.

Die erste Zeile verweist vier Zeilen nach unten, dort steht die Zahl 5. Sie landet auf dem Stapel, der Rest ist Erzählung.

Der Benchmark: 21 Modelle, fünf Aufgaben

Picheta hat KillSwitch mit einer eigenen Testreihe gegen bekannte KI-Systeme geprüft. Jeder Coding-Agent bekommt eine Aufgabe, die Spezifikation und ein Budget von 5 Dollar bei 30 Minuten Zeitlimit. Er arbeitet in einem eigenen Container ohne Internetzugang. Die Prüfung läuft programmgesteuert gegen eine bekannte richtige Antwort, ohne Bewertung durch ein Sprachmodell. Jede Aufgabe läuft je Kandidat mindestens zweimal.

Deshalb misst der Test das Gespann aus Agent und Modell: Claude Code, Codex oder OpenCode mit dem jeweiligen Sprachmodell dahinter. Der Gesamtwert verrechnet die Bestehensquote mit Abzügen für Kosten und Codegrösse. Bei Claude Opus 5 ergeben 70 Prozent bestandene Läufe abzüglich 0,7 für die Kosten und 2,5 für die Grösse die 66,8 Punkte.

Danach folgen GPT-6.1 Sol mit 59,2 und Claude Opus 5.5 mit 58,7 Punkten. Am unteren Ende stehen GPT-5.6 Luna und Qwen3.8 27B mit dem Wert null. Die Reiter zeigen alle Werte je Modell und die Ergebnisse je Aufgabe.

Auffällig ist die Verteilung über die Aufgaben. Die Methodik nennt zwei Arten: lauffähigen Code schreiben oder ein mitgeliefertes Programm richtig deuten. Bei den beiden Aufgaben mit „understanding“ im Namen bestehen nur 4 und 9 von je 42 Läufen. Die Aufgabe „celsius“ schaffen dagegen 23 von 42.

Was die Zahlen aussagen

Picheta selbst liest auch die 66,8 Punkte nicht als Beleg dafür, dass ein Modell den Code versteht. Laut The Register waren die Aufgaben im Benchmark einfach. Er sei sich zu 99,9 Prozent sicher, dass keines der Modelle mit dem Quellcode von KillSwitch trainiert wurde.

Daraus folgt seine Prognose für den Fall, dass die Sprache doch in Trainingsdaten landet. Dann würden die Modelle die einfachen Aufgaben plötzlich lösen, weil diese auf den offenen Testdateien im Repository beruhen. Bei längeren und komplexeren Programmen erwartet er weiter Fehler. Das passt zur These hinter der Sprache: Ein Modell, das bekannte Muster wiederholt, stolpert dort, wo es keine Vorlage gibt.

Allerdings ist KillSwitch ein Extremfall mit fünf kleinen Aufgaben und mindestens zwei Läufen je Aufgabe. Verbreitete Sprachen bieten den Modellen viel mehr bekannte Muster, Fehler zeigen sich dort seltener sofort. Der Test zeigt also die Grenze, an der Wiederholung ohne Verständnis nicht mehr trägt. Wie Teams KI-Prüfer mit eigenen Regeln füttern, steht im Beitrag zu Copilot Code Review mit Agent Skills.

Meine Erfahrung

In der Praxis beobachte ich das in anderer Form. Ein Betrieb lässt sich von einer KI Codeentwürfe generieren. Er sieht darin die Bestätigung dessen, was er ohnehin vermutet, und führt den Code in Produktion. Das funktioniert, bis die Randbedingung kommt, die das Modell nicht erkennt. Es hat nie verstanden, was der Code tut.

Meinen Kunden rate ich: KI als Werkzeug für den Entwurf nutzen, nicht als Entscheider. Der generierte Code ist ein Ausgangspunkt und kein fertiges Ergebnis. Wer ihn ungeprüft in Produktion stellt, kauft sich ein Problem. Später ist es teurer als der ursprüngliche Entwicklungsauftrag.

Einordnung: Was das für Entwicklerteams und Firmen heisst

Für Teams bedeutet das: Ein Code-Assistent liefert dort gute Entwürfe, wo es viel ähnlichen Code gibt. Bei Eigenheiten deiner Firma, bei seltenen Schnittstellen oder alten Systemen fehlt ihm dieses Polster. Plane deshalb für jeden generierten Code dieselbe Prüfung wie für Code von Menschen: Review, Tests für Randfälle und eine Person, die erklären kann, was er tut. Firmen sollten diese Prüfung im Budget vorsehen, denn sie ist billiger als ein Fehler im Betrieb.

Fazit

KillSwitch macht sichtbar, was im Alltag oft untergeht: Ein Modell kann Code liefern, ohne ihn zu verstehen. Selbst der Spitzenreiter scheitert an fast einem Drittel seiner Läufe. Nutze KI für den Entwurf und behalte Prüfung und Entscheidung im Team.

The Register hat den Bericht am 19. Oktober 2026 veröffentlicht, eine Aktualisierung nennt die Quelle nicht. Die Rangliste des Benchmarks wurde zuletzt am 20. Oktober 2026 aktualisiert.

Quellen: KillSwitch auf GitHub, KillSwitch-Bench, The Register. Stand: 20. Oktober 2026.

Recherche und Entwurf KI-gestützt, geprüft und freigegeben von Andreas Brauckmann · So arbeitet die Redaktion