NCM:
Stanford-KI schreibt erst die Skizze, dann den Text

KI-Text skizziert zuerst

Bis 31-mal schneller

Foto: anncapictures / Pixabay

Zehn Schritte statt tausend: Next-Concept Modeling (NCM) aus Stanford erzeugt Text als Skizze, die sich schrittweise schärft. Den Anstoss gab der LinkedIn-Beitrag von Patrik Büschi vom 10. November 2026. Dafür danke ich ihm herzlich, denn so habe ich die Quellen selbst gelesen.

Auf einen Blick

• Skizze vor Text: NCM legt zuerst die grobe Struktur einer Antwort fest und ergänzt Details in wenigen Runden. Alle Bausteine einer Runde entstehen gleichzeitig.
• 10- bis 31-mal schneller als Diffusionsmodelle: Das berichtet das Stanford-Team im Vergleich mit den stärksten Diffusionsmodellen. Gegenüber klassischen Sprachmodellen gibt ein Mitautor 6- bis 10-faches Tempo an.
• Klein getestet: Die meisten Versuche nutzten rund 100 Millionen Parameter, das grösste Modell kam auf 725 Mio.
• Kein Ersatz für LLMs: Die Autoren sprechen von einer experimentellen Architektur. Belege für Notebooks und Edge-Hardware fehlen noch.

Warum heutige Sprachmodelle ausbremsen

So sagt ein klassisches Sprachmodell das jeweils nächste Wortstück voraus, ein Token. Für eine Antwort mit 1000 Tokens braucht es 1000 Durchgänge, einen nach dem anderen. Bei jedem Durchgang muss das Modell seine Gewichte laden. Am einzelnen Arbeitsplatz bremst deshalb oft der Datenfluss und weniger die Rechenleistung.

Dabei gelten Diffusionsmodelle als stärkste Alternative. Sie verfeinern einen ganzen Text gleichzeitig. Dafür brauchen sie laut Paper oft viele Schritte, bei wenigen Schritten sinkt die Qualität. NCM geht einen dritten Weg.

Wie NCM arbeitet

Dabei hat das Verfahren zwei Teile, die getrennt trainiert werden. Der Tokenizer übersetzt Text in eine Hierarchie diskreter Codes, von sehr grob bis fein. Der Generator sagt danach jeweils eine ganze Lage voraus. Beim Erzeugen entsteht jede Lage parallel. Am Ende macht ein Decoder wieder Text daraus. Die Idee stammt von Verfahren für Bilder, die Hazy Research auf Sprache überträgt.

Dabei hängt die Zahl der Durchgänge vom Einsatz ab. Laut MindStudio brauchte die Übersetzung Deutsch nach Englisch 11 Durchläufe, insgesamt nennt der Test 9 bis 11. Bei Sudoku steht in einer Bildunterschrift im Blog der Autoren der Wert 12 Funktionsauswertungen. Ein Wort-für-Wort-Modell benötigt dagegen einen Durchgang je Token.

Was gemessen wurde

Damit zu den Messungen: Das Team um Hermann Kumbong, Ishan Khare und Christopher Ré hat NCM hauptsächlich mit Diffusionsmodellen verglichen. Das Paper kam am 9. Oktober 2026 auf arXiv, der Blogbeitrag drei Tage später. Auf einer H100-Grafikkarte war NCM bei Sprachmodellierung (LM1B) 21-mal schneller als die stärksten Diffusionsmodelle, bei OpenWebText 10-mal. Bei Nachrichtenzusammenfassung (XSum) liegt der Faktor bei 31 bei gleichem ROUGE-L-Wert. Zudem braucht das Training laut Blog etwa 4- bis 5-mal weniger Trainings-Tokens als bei Diffusionsmodellen. Klassische Sprachmodelle gehören nicht zu diesen Vergleichen.

Quelle: Hazy Research und arXiv (Diffusionsvergleich), TechTalks (Aussage eines Mitautors), MindStudio (Test auf NVIDIA DGX Spark). Die Faktoren gelten jeweils für den genannten Vergleich und lassen sich nicht addieren.

Zudem sagt ein Mitautor im Fachportal TechTalks über klassische Modelle: „6x to 10x faster than strong autoregressive baselines“. Das ist die Angabe eines Beteiligten. Einen unabhängigen Nachtest gab es Ende des Monats (29. Oktober). Er lief auf einer NVIDIA DGX Spark, einem KI-Rechner für den Schreibtisch. Bei Einzelanfragen war NCM bei Übersetzungen etwa viermal so schnell wie ein parametergleiches klassisches Modell, bei Zusammenfassungen langer Artikel etwa doppelt so schnell. Bei 64 gleichzeitigen Anfragen war das klassische Modell dagegen schneller.

Zudem gibt es einen Rätseltest. Bei schweren Sudokus löste NCM laut MindStudio 86 % der Bretter, ein gleich grosses klassisches Modell nur 1 %. Der Blogbeitrag selbst nennt bei Sudoku nur, dass NCM auf allen Stufen vorn liegt. Daher passt das Beispiel zum Prinzip: Wer nur vorwärts schreibt, legt sich früh fest.

Quelle: MindStudio (86 und 1 % gegen ein gleich grosses klassisches Modell). TechTalks nennt für NCM 86,1 %, der stärkste Konkurrent kam dort auf 81,3 %.

Wo die Grenzen liegen

Deshalb gehören die Einschränkungen dazu, die Autoren und Berichte nennen. Sie betreffen Grösse, Aufbau und Hardware:

• Kleine Modelle: Getestet wurden Generatoren mit 97, 317 und 725 Mio. Parametern. Die Skalierungsergebnisse bezeichnet der Blog selbst als vorläufig.
• Feste Struktur: Laut Fachbericht sind die Anzahl der Ebenen und Länge der Codes fest und richten sich nicht nach der Schwierigkeit.
• Getrenntes Training: Tokenizer und Generator lernen getrennt, was ihre Abstimmung begrenzen kann.
• Artefakte: Dabei treten im erzeugten Text gelegentlich Fehler auf.
• Mehr Rechenarbeit: Zudem verarbeitet NCM laut Nachtest etwa viermal so viele Positionen, wie die Antwort Wörter hat.
• Edge-Hardware: Die Leistung auf Consumer- und Edge-Geräten ist laut Fachbericht noch nicht belegt.
• Mitlesen: Eine Antwort ist erst nach dem letzten Durchgang lesbar. Das folgt aus dem Prinzip, die Quellen nennen es nicht als Messwert.

Einordnung: Was das für Teams und Admins heisst

Deshalb gibt es heute nichts zu kaufen und nichts zu migrieren. Die Zahlen stammen von kleinen Modellen und überwiegend von den Autoren selbst, der DGX-Spark-Test ist die einzige unabhängige Messung in den geprüften Quellen. Die grossen Faktoren gelten gegenüber Diffusionsmodellen; gegenüber klassischen Modellen reichen die Angaben von 2- bis 10-fach. Spannend ist dabei die Richtung: Wenn Antworten in zehn statt tausend Schritten entstehen, sinkt die Zahl der Speicherzugriffe. Davon könnten lokale Rechner mit einem einzelnen Nutzer profitieren, während Rechenzentren mit vielen gleichzeitigen Anfragen wenig gewinnen. Wer sensible Daten im Haus halten will, beobachtet das Thema. Deshalb sind drei Schritte sinnvoll: Daten nach Cloud-tauglich und nicht Cloud-tauglich sortieren, Anwendungen so bauen, dass sich das Modell dahinter tauschen lässt, und jedes neue Modell mit eigenen Dokumenten prüfen. Wie sich das Verfahren in Modellen mit mehreren Milliarden Parametern verhält, zeigen erst künftige Arbeiten. Mehr zu lokalen Modellen im Alltag steht im Testplan für lokale KI in Cursor.

Ist das das Ende der LLMs?

Daher lautet die Antwort Nein. NCM ist selbst ein Sprachmodell, nur mit anderer Erzeugung. Wenn etwas an Bedeutung verliert, dann die Annahme, Text müsse zwingend Wort für Wort entstehen. Zudem geben die Autoren ihr Ziel offen an: NCM soll eine führende Architektur für Textgenerierung werden. Bis dahin bleibt es eine Forschungsarbeit. Sein eigener Beitrag zu lokaler KI in Firmen lohnt sich: Er steht bei Patrik Büschi auf LinkedIn.

Fazit

So zeigt NCM, dass schnelle Textgenerierung ohne Wort-für-Wort-Zwang möglich ist, zumindest bei kleinen Modellen. Gegen Diffusionsmodelle sind die Vorsprünge gross, gegen klassische Modelle fallen sie kleiner aus und drehen sich bei vielen parallelen Anfragen. Für lokale KI ist das ein Hoffnungszeichen, aber kein Beleg. Wer entscheiden muss, wartet auf Ergebnisse mit grösseren Modellen.

Quellen: Hazy Research, arXiv 2610.14162, TechTalks, MindStudio. Die Hauptquelle erschien erstmals am 12. Oktober 2026, eine spätere Aktualisierung nennt sie nicht. Foto: anncapictures / Pixabay. Stand: 10. November 2026.

Geschrieben von Andreas Brauckmann · So arbeitet die Redaktion