Google hat TorchTPU als Open Source veröffentlicht. Damit laufen PyTorch-Modelle nativ auf Tensor Processing Units, laut Google mit minimalen Codeänderungen. Hugging Face, vLLM, SGLang, Ray und TorchTitan unterstützen die Chips ebenfalls. Meta nennt produktive Einsätze, doch die Praxistauglichkeit müssen Teams selbst prüfen.
Google macht PyTorch auf TPUs nutzbar: TorchTPU ist offen, und Training skaliert auf bis zu 8 192 Chips. Teams, die heute auf GPUs setzen, können Googles KI-Chips damit testen, ohne ihre Software neu zu bauen.
Das Wichtigste in Kürze
- TorchTPU ist Open Source. Google gibt PyTorch-Entwicklern einen nativen Weg, Modelle auf seinen Tensor Processing Units auszuführen.
- Der Umstieg soll wenig Code kosten. Bei Hugging Face genügt ein Argument, bei Google heisst es minimale Änderungen.
- Erste Zahlen sind gut. Beim Training erreicht TorchTPU bis zu 52 % Auslastung und skaliert fast linear bis 8 192 Chips.
- Teile bleiben in der Vorschau. Das gilt für das VeRL-Backend und die TPU-Agenten.
So läuft PyTorch auf TPUs
Help Net Security hat die Meldung am 21. Oktober 2026 veröffentlicht. Eine spätere Aktualisierung nennt die Quelle nicht. Die Ankündigung stammt von Google, die Details im Google-Blog liefern mehr Hintergrund.
TorchTPU folgt dem üblichen PyTorch-Ablauf. Entwickler suchen Fehler im Eager-Modus. Dort läuft jede Operation sofort nach dem Aufruf. Für den Produktivbetrieb wechseln sie zu torch.compile. Das wandelt das Modell in einen optimierten Graphen um. Verteiltes Training ist bereits eingebaut.
Damit soll sich der Aufwand für einen Test klein halten. Wer Kosten für GPUs abwägt, kann die TPUs von Google ausprobieren. Das gilt allerdings nur, wenn Googles Aussage in der Praxis stimmt. Das müssen eigene Tests zeigen.
Den Code gibt es kostenlos auf GitHub.
Zahlen und Partner im Überblick
Google kündigte zudem TPU-Unterstützung für mehrere Werkzeuge an. Dazu zählen die Serving-Engines vLLM und SGLang, das Trainingsframework TorchTitan, Ray und die Bibliotheken von Hugging Face. Bei Hugging Face schickt in Transformers v5 das Argument device_map="tpu" ein Modell auf eine TPU. Google lässt die Test-Suite von Transformers jede Nacht auf TPUs laufen. Die Bibliothek Diffusers für generative Modelle läuft ebenfalls nativ, mit Tensorparallelität über mehrere Chips.
Meta setzt TorchTPU nach eigenen Angaben schon ein. Der Konzern lässt LLM-, Werbe- und Empfehlungslasten auf TPUs laufen. Jana van Greunen, Metas Direktorin für PyTorch-Technik, sagte, man dürfe nicht an eine einzige Hardware-Architektur gebunden sein.
| Kennzahl | Wert | Bedeutung |
|---|---|---|
| Modellauslastung (MFU) | bis 52 % bei Qwen 3 8B | Etwa die Hälfte der Rechenkraft dient dem Training |
| Skalierung | bis 8 192 Ironwood-TPUs | Der Durchsatz wächst fast im Gleichschritt mit den Chips |
| Tokens pro Tag (Zenteiq.ai) | von 1,47 auf 5,97 Mrd. | Rund vierfach, bei 1 000 TPU v6e mit llm-d |
| Hugging Face | device_map="tpu" | Ein Argument genügt für den Wechsel |
Die Auslastung misst, wie viel der theoretischen Rechenkraft eines Chips in nützliche Arbeit fliesst. Der Wert von Zenteiq.ai stammt aus einem anderen Test. Dort verteilt llm-d die Anfragen auf Cluster. Google hat llm-d 1.0 zusammen mit Red Hat und IBM veröffentlicht. Zenteiq führt den Gewinn auf ein Routing zurück, das jede Anfrage zu einem Replikat mit passendem Kontext schickt.
Was noch in der Vorschau steckt
Nicht alles ist fertig. Zwei Teile tragen noch das Label Preview:
- Das TPU-Backend für VeRL, ein verbreitetes Framework für Reinforcement Learning.
- Die TPU-Agenten. Sie binden sich in KI-Werkzeuge zum Programmieren ein und automatisieren Einstieg, Diagnose und Tuning von Inferenz für PyTorch-Modelle.
Zudem hat Google LiteRT, früher TensorFlow Lite, ins PyTorch-Umfeld geholt. Damit laufen Modelle auch auf Handys und anderen Geräten.
Einordnung: Was das für Firmen in der Schweiz heisst
Teams in der Schweiz, die ihre Modelle in PyTorch schreiben und auf GPUs betreiben, erhalten eine Alternative zum Testen. Eine Frist nennen die Quellen nicht, es gibt also keinen Zwang zu handeln. Wer Kosten für GPUs im Blick hat, kann einen Pilotlauf planen. Ein Preis in Franken ist in den Quellen nicht genannt. Die Zahlen von Meta und Zenteiq.ai sind Herstellerangaben und Partnerangaben. Unabhängige Messungen liegen in den Quellen nicht vor.
Fazit
TorchTPU senkt die Hürde, TPUs neben GPUs zu erproben. Der Code liegt offen auf GitHub, und viele gängige Werkzeuge ziehen mit. Als nächsten Schritt lohnt ein kleiner Test mit einem eigenen Modell. Dabei zeigt sich, ob die Aussage der minimalen Änderungen auch für euren Code gilt.
Quellen: Help Net Security. Foto: nanoslavic / Pixabay. Stand: 21. Oktober 2026.
Recherche und Entwurf KI-gestützt, geprüft und freigegeben von Andreas Brauckmann · So arbeitet die Redaktion
Änderungshistorie
- — Artikel veröffentlicht.