Gleicher Prompt, 80 Antworten: das Determinismus-Problem der KI

Ein Team des KI-Labors Thinking Machines Lab stellte einem Sprachmodell tausendmal dieselbe Frage. Gleiches Modell, gleicher Prompt, Temperatur null, also die Einstellung, bei der ein Modell eigentlich immer die wahrscheinlichste und damit identische Antwort geben soll. Das Ergebnis waren nicht tausend gleiche Texte, sondern 80 verschiedene.

Für die meisten Nutzer ist das eine Kuriosität. Für die verifizierbare KI, auf Englisch verifiable compute, ist es ein Grundproblem. Der ganze Ansatz lebt davon, dass eine zweite Partei ein Rechenergebnis nachprüfen kann, ohne der ersten vertrauen zu müssen. Wenn aber dieselbe Eingabe nicht zuverlässig dieselbe Ausgabe erzeugt, gibt es nichts Stabiles, das man prüfen könnte. Determinismus, die schlichte Eigenschaft, dass gleicher Input gleichen Output liefert, ist das stille Fundament unter zkML, opML, TEEs und dem krypto-ökonomischen Slashing. 2026 kommt die Lösung in Reichweite, und sie hat einen Haken, der ausgerechnet jene GPU-Clouds zentralisiert, die Krypto dezentralisieren will.

„Tell me about Richard Feynman“: 80 Antworten auf eine Frage

Der Versuch ist schnell erzählt. Die Forscher nutzten das offene Modell Qwen3-235B-A22B-Instruct-2507, schickten tausendmal den Prompt „Tell me about Richard Feynman“ und ließen je tausend Token erzeugen, alles bei Temperatur null. Heraus kamen 80 einzigartige Antworten; die häufigste trat 78 Mal auf. Bis zum 102. Token waren alle Ausgaben identisch, beim 103. liefen sie auseinander. Danach wirkt es wie eine Weiche: ein einziges abweichendes Token, und der Rest des Textes driftet ab.

Temperatur null gilt als der deterministische Modus schlechthin, das Modell soll an jeder Stelle das Token mit der höchsten Wahrscheinlichkeit wählen. Dass dabei 80 Versionen entstehen, ist kein Fehler einer einzelnen Programmierschnittstelle, sondern typisch dafür, wie KI-Inferenz auf GPUs im großen Maßstab läuft. Horace He und Kollegen von Thinking Machines Lab dokumentierten den Effekt im September 2025 im Detail; der Entwickler Simon Willison fasste ihn für ein breiteres Publikum zusammen. Seitdem ist die Frage „warum ist meine KI nicht reproduzierbar“ aus der Nische der Infrastruktur-Teams in die Debatte um prüfbare KI gewandert.

Verifizierbare KI in einem Satz, und ihr blinder Fleck

Verifizierbare KI heißt: Ein Rechner liefert nicht nur ein Ergebnis, sondern zusätzlich einen Nachweis, dass er korrekt gerechnet hat, und dieser Nachweis ist billig zu prüfen. Das Vertrauen verschiebt sich von „vertraue dem Server“ zu „prüfe den Beweis“. Ethereum-Mitgründer Vitalik Buterin hat die Schnittstelle von KI und Krypto in einem viel zitierten Essay in vier Kategorien sortiert und ausgerechnet dort, wo eine Blockchain direkt eine KI aufruft (er nennt es „AI as the rules of the game“), ein ausdrückliches „tread very carefully“ danebengeschrieben. Der Grund ist genau dieses Prüfproblem.

Vier Familien von Ansätzen konkurrieren darum, es zu lösen. zkML erzeugt einen kryptografischen Nullwissen-Beweis, dass ein bestimmtes Modell auf einer bestimmten Eingabe genau diese Ausgabe erzeugt hat. opML (optimistic machine learning) veröffentlicht das Ergebnis und lässt es nach einer Einspruchsfrist als gültig gelten, solange niemand per Betrugsbeweis widerspricht. TEEs (Trusted Execution Environments) lassen die Hardware bezeugen, dass ein versiegelter Enklave-Chip genau diesen Code ausgeführt hat. Und krypto-ökonomische Systeme hinterlegen Kapital, das bei einer falschen Antwort eingezogen wird. Was alle vier teilen, ist eine unausgesprochene Annahme: dass sich die Rechnung überhaupt auf eine eindeutige Antwort festnageln lässt. Genau diese Annahme bricht der Feynman-Versuch.

Warum GPUs nicht zweimal dasselbe rechnen

Die übliche Erklärung lautet: Fließkomma-Arithmetik ist nicht assoziativ. (a + b) + c ergibt auf einem Prozessor nicht immer bitgenau dasselbe wie a + (b + c), weil jede Rundung winzige Fehler einführt. Tausende Recheneinheiten einer GPU addieren Teilergebnisse in wechselnder Reihenfolge, also schwankt das letzte Bit. Das stimmt, erklärt laut Thinking Machines Lab aber nicht den Hauptanteil des Problems bei der Inferenz.

Der eigentliche Schuldige ist die fehlende Batch-Invarianz. Ein Inferenz-Server bündelt die Anfragen vieler Nutzer zu einem Stapel (Batch), um die GPU auszulasten. Wie groß dieser Stapel gerade ist, hängt von der Serverlast ab, und die schwankt von Millisekunde zu Millisekunde. Je nach Stapelgröße wählt der Rechenkern eine andere Aufteilung der Matrixmultiplikation, also eine andere Summationsreihenfolge, also ein anderes letztes Bit. He formuliert es so: „the primary reason nearly all LLM inference endpoints are nondeterministic is that the load (and thus batch-size) nondeterministically varies“. Im Klartext: Ihre Anfrage teilt sich den Stapel mit fremden Anfragen, deren Zahl Sie nicht kontrollieren, und diese fremde Gesellschaft entscheidet mit, welches Token am Ende herauskommt.

Man kann nicht beweisen, was man nicht reproduzieren kann

Die Lehre aus dem Feynman-Versuch passt in einen Satz: Man kann nicht beweisen, was man nicht reproduzieren kann. Jeder Prüfmechanismus braucht einen Fixpunkt, gegen den er vergleicht. Fehlt der, laufen die vier Ansätze ins Leere, jeder auf seine eigene Art. zkML kann eine schwankende Rechnung gar nicht erst in ein Schaltbild gießen. opML lässt einen Challenger die Arbeit nachrechnen, doch wenn dessen Ergebnis legitim abweicht, geht der Betrugsbeweis ins Nichts. Ein TEE bezeugt zwar, dass der Code lief, nicht aber, dass zwei ehrliche Läufe dasselbe herausbekommen. Und Slashing straft die Abweichung von einer Referenzantwort, die es ohne Determinismus nicht gibt.

Die folgende Tabelle zeigt, wogegen jeder Ansatz eigentlich prüft und was passiert, wenn die Rechnung nicht reproduzierbar ist.

zkML: Quantisierung ist der Preis der Reproduzierbarkeit

zkML ist der kryptografisch sauberste Ansatz und zugleich der, den der Determinismus am härtesten trifft. Ein Nullwissen-Beweis lebt davon, die Berechnung in ein arithmetisches Schaltbild zu gießen, in dem jeder Schritt festliegt. Fließkommazahlen passen dort schlecht hinein. Elena Burger, Deal Partner bei a16z crypto, bringt es auf den Punkt: Nullwissen-Beweise können heute „32-bit floating point operations in the necessary arithmetic circuit format“ nicht ohne „massive overheads“ abbilden. Deshalb quantisieren zkML-Systeme die Modelle auf ganze Zahlen, meist auf 8 Bit. Ganzzahlarithmetik ist assoziativ und damit reproduzierbar, aber das quantisierte Modell ist, wie Burger warnt, nur noch „a crude approximation of the higher-quality initial model“. Quantisierung ist also kein bloßer Spartrick, sie ist die Determinismus-Strategie von zkML.

Der Preis ist Rechenaufwand. Buterin beziffert ihn im selben Essay: Matrixmultiplikationen kosten im Beweis weniger als das Vierfache, die nicht-linearen Schichten aber rund das Zweihundertfache. Einen ganzen Ethereum-Block als ZK-SNARK zu beweisen, könne „hours“ dauern, während ein Client ihn in Millisekunden prüft. Jahrelang galt deshalb als gesetzt, dass sich große Sprachmodelle nicht beweisen lassen.

Genau diese Gewissheit bröckelt. Lagrange Labs hat mit DeepProve das erste produktionsreife zkML-System vorgelegt, das eine vollständige LLM-Inferenz Ende zu Ende beweist. Das zugehörige Forschungspapier, eingereicht Ende Mai 2026, nennt erstmals konkrete Zahlen: GPT-2 und Gemma 3 wurden komplett bewiesen, der Beweis-Durchsatz liegt bei rund 174 Token pro Minute (GPT-2) beziehungsweise 86 Token pro Minute (Gemma 3), die Prüfung dauert 1 bis 3,7 Sekunden, und verteilt auf mehrere Maschinen sind bis zu 1.855 Token pro Minute möglich. Das System setzt auf Sumcheck-Protokolle und Lookup-Argumente statt auf die direkte Kodierung im Schaltkreis und arbeitet damit 20- bis 60-fach schneller als der bisherige Stand der Technik.

Beim Open-Source-Start im Juni 2026 sprach Lagrange von über zwölf Millionen erzeugten Beweisen und mehr als drei Millionen verifizierten Inferenzen. CEO Ismael Hishon-Rezaizadeh gab die Richtung vor: „We didn’t build DeepProve to own verifiable AI. We built it so nobody had to … The black box is open.“ Zur Einordnung gehört aber: GPT-2 und Gemma 3 sind kleine Modelle, kein GPT-5. Die Mauer, an der zkML jahrelang scheiterte, ist für kleine, quantisierte Netze gefallen, nicht für die Spitzenmodelle. Und sie fällt nur, weil die quantisierte Rechnung überhaupt reproduzierbar ist.

opML: der Betrugsbeweis muss bit-genau nachrechnen

opML verzichtet auf teure Kryptografie und kopiert stattdessen das Muster der Optimistic Rollups: Der Betreiber veröffentlicht das Ergebnis samt einer Merkle-Verpflichtung, es gilt nach einer Einspruchsfrist als endgültig, solange niemand widerspricht. Widerspricht doch jemand, wird der Streit in einem interaktiven Verfahren auf einen einzigen strittigen Rechenschritt eingegrenzt und dieser in einer Fraud Proof Virtual Machine nachgerechnet.

Das ganze Gebäude steht und fällt mit der Reproduzierbarkeit. Der Challenger kann Betrug nur dann nachweisen, wenn er die Bytes des Betreibers exakt nachrechnet. Weicht sein Ergebnis aus einem harmlosen Determinismus-Grund ab, hätte er einen ehrlichen Betreiber zu Unrecht angeklagt. Deshalb läuft opML bewusst in einer eingeschränkten, GPU-freien Umgebung, die zwar langsam, dafür aber bit-genau reproduzierbar ist. Das ist kein Schönheitsfehler, sondern Notwehr gegen das Determinismus-Problem. Zwei Nebenwirkungen bleiben: Die Einspruchsfrist bremst Echtzeit-Anwendungen aus, und geschlossene Modelle wie GPT-4o lassen sich gar nicht per Betrugsbeweis prüfen, weil niemand sie unabhängig nachrechnen kann; sie werden nur durchgereicht.

TEE bezeugt die Ausführung, nicht die Übereinstimmung

TEEs gehen den entgegengesetzten Weg. Ein moderner Chip von Intel (TDX), AMD (SEV) oder Nvidia (Confidential Computing) richtet eine versiegelte Enklave ein und stellt eine kryptografisch signierte Bescheinigung aus, dass genau dieser Code dort gelaufen ist, abgeschirmt selbst vor dem Betreiber des Servers. Das ist schnell: Der Mehraufwand liegt je nach Modell im einstelligen bis niedrig zweistelligen Prozentbereich, und Anbieter wie Phala wickeln nach eigenen Angaben zweistellige Milliardenzahlen vertraulicher Token pro Tag ab. Für latenzkritische KI-Agenten ist das die praktischste Ecke der verifizierbaren KI.

Nur beweist eine Attestierung die Ausführung, nicht die Übereinstimmung. Sie sagt: „Dieser Code lief in dieser Enklave.“ Sie sagt nicht: „Zwei Enklaven kommen auf dieselbe Antwort.“ Laufen zwei ehrliche TEEs mit unterschiedlicher Batch-Zusammensetzung, erzeugen sie verschiedene Token, und beide Bescheinigungen sind gültig. Für einen einzelnen Lauf umgeht das TEE das Determinismus-Problem, für den Abgleich mehrerer Läufe oder einen Konsens nicht. Hinzu kommt das grundsätzliche Unbehagen: Man vertraut dem Chiphersteller, nicht der Mathematik. Der Angriff TEE.Fail zeigte Ende 2025, dass sich Attestierungsschlüssel mit physischem Zugang und einem Bauteil für unter 1.000 US-Dollar fälschen lassen, ein unangenehmes Szenario gerade für anonyme, verteilte GPU-Netze, in denen der Anbieter selbst der Angreifer sein kann.

Krypto-ökonomisch: Slashing braucht eine kanonische Antwort

Der krypto-ökonomische Ansatz, am bekanntesten durch EigenCloud (das umbenannte EigenLayer), ersetzt Mathematik durch Geld. Knoten hinterlegen Kapital, liefern Ergebnisse und verlieren ihren Einsatz (Slashing), wenn sie falsch rechnen. Die Garantie ist ökonomisch: Betrug soll teurer sein als der mögliche Gewinn. Die Logik ist mit der von Proof-of-Stake-Netzen verwandt, deren Sicherheitsbudget wir im Vergleich zu Bitcoins Hashrate in einer eigenen Analyse aufgeschlüsselt haben.

Doch Slashing braucht eine kanonische richtige Antwort, gegen die man die Abweichung misst. Ohne Determinismus gibt es die nicht. Weichen zwei ehrliche Knoten wegen schwankender Batches voneinander ab, würde das Protokoll einen von beiden bestrafen, obwohl keiner betrogen hat. Ein Slashing-System, das ehrliche Teilnehmer trifft, ist nicht nur ungerecht, es ist unbrauchbar, weil bald niemand mehr mitmacht. Erst eine eindeutige Antwort macht aus der Strafandrohung ein sauberes Instrument.

Die 2026-Antwort: bit-exakte Ausführung macht die Prüfung zur Byte-Gleichheit

Die gute Nachricht: 2026 ist Determinismus kein ungelöstes Forschungsproblem mehr, und die Lösung kam zuerst außerhalb der Kryptowelt. Thinking Machines Lab zeigte, dass sich mit batch-invarianten Rechenkernen eine identische Ausgabe erzwingen lässt, unabhängig von der Stapelgröße. Das Team hinter SGLang und LMSYS baute darauf auf und berichtet von „100% reproducible RL training“, bei dem „two independent training runs produce identical curves“.

Kryptoseitig liefert das Papier zu EigenAI (arXiv 2602.00182, mitverfasst von EigenCloud-Gründer Sreeram Kannan) die passende Antwort. Es benennt die Ursachen der Nicht-Reproduzierbarkeit präzise, „floating-point non-associativity, kernel scheduling, and variable batching“, und erzwingt mit eigenen Kernen, festgezurrten Treibern und kanonischen Summationsreihenfolgen eine bit-exakte Inferenz. Der Lohn ist ein verblüffend einfaches Prüfprinzip: „Because inference itself is bit-exact, verification reduces to a byte-equality check.“ Und weiter, nach eigenen Tests: „Across 10,000 runs, all hashes matched exactly, no bit-level divergence was observed.“

Das ist der eigentliche Durchbruch, nicht die glamourösen Beweise. Ist die Ausgabe byte-genau reproduzierbar, braucht es kein probabilistisches Mehrheitsvotum und keine stundenlange ZK-Rechnung mehr, um Betrug zu erkennen; ein einziger ehrlicher Nachrechner, der eine Byte-Abweichung findet, genügt. Determinismus ist das billige Fundament, das die teuren Beweise in vielen Fällen überflüssig macht. Und er ist erstaunlich günstig zu haben: EigenAI beziffert den Durchsatz seiner deterministischen Kerne auf 97 bis 98 Prozent des herkömmlichen Werts, der Latenz-Aufschlag liegt bei rund 1,8 Prozent. Die folgende Tabelle ordnet die Mehrkosten verschiedener Ansätze ein.

Der Haken: Determinismus endet an der Hardware-Grenze

Es gibt einen Haken, und EigenAI benennt ihn selbst. Byte-Gleichheit hält nur, solange alle dieselbe Hardware benutzen. Das Papier schreibt unmissverständlich, „all operators and verifiers must utilize identical GPU SKUs“. Verschiedene Chip-Generationen runden anders: „cross-architecture tests (A100 versus H100) do not match bitwise due to differences in floating-point rounding“. Die heterogene Welt bleibt Zukunftsmusik, „Determinism currently holds only within fixed GPU families. Future work includes portable numeric normalization to enable heterogeneous verifier sets.“

Das ist mehr als eine Fußnote. Wer byte-genaue Verifizierbarkeit will, muss alle Teilnehmer auf dasselbe GPU-Modell verpflichten. Damit rezentralisiert der Determinismus ausgerechnet jene offenen, anonymen GPU-Märkte, die Krypto dezentralisieren will: Ein Netz, das nur eine einzige Chip-Generation zulässt, ist kein offener Marktplatz mehr, sondern ein Club mit Dresscode. Für Projekte wie Akash, Render oder Bittensor, die auf bunte, verteilte Hardware setzen, ist das eine echte Spannung; wer die Marktseite dieses Rechenverkaufs verstehen will, findet sie in unserem Leitfaden zur dezentralen Inferenz. Die Hybriden des Jahres 2026, etwa TEE plus optimistische Stichproben oder die Optimistic TEE-Rollups aus der Forschung, vermitteln zwischen Tempo, Kosten und echter Dezentralisierung, heben die Hardware-Homogenität aber nicht auf.

Der Praxistest im Oktober: Flare, USDX und der Proof of Reserves

Dass verifizierbare KI mehr ist als Theorie, zeigte sich diese Woche. Am 1. Oktober 2026 ging Flare Confidential Compute (FCC) auf Songbird live, dem Canary-Netz von Flare; auf dem Flare-Mainnet folgt der Start später. Das Prinzip ist die TEE-Ecke der verifizierbaren Rechnung in Reinform: Vertrauliche Daten laufen in eine versiegelte Enklave auf Google-Cloud-Maschinen, die von der Flare Foundation betrieben werden, dort wird gerechnet, und nach außen dringt nur ein signiertes Ergebnis, das ein Registry-Vertrag prüft, bevor andere Verträge es nutzen dürfen.

Der erste Anwendungsfall ist ein Proof of Reserves. Der Stablecoin USDX von Hex Trust ist nach Angaben des Anbieters der erste, der seine Deckung über FCC nachweist: Öffentliche und vertrauliche Reserven werden in der Enklave zusammengeführt, gegen die ausstehende USDX-Menge gehalten und nur als signiertes Urteil „mindestens 1:1 gedeckt“ veröffentlicht. Die konkreten Zahlen bleiben privat. Ben Usinger, Head of Stablecoins bei Hex Trust, sagt dazu: „Integrating Flare Confidential Compute enhances the trust layer for institutional adoption by enabling real-time, onchain verifiability of USDX reserves.“

Für deutsche Leser ist der Fall aus zwei Gründen interessant. Erstens zeigt er das Determinismus-Thema im Kleinen: Die Enklave muss ein einziges, eindeutiges Urteil ausspucken, das ein Vertrag byte-genau prüfen kann, sonst taugt der Nachweis nichts. Zweitens ist USDX kein MiCA-Token, doch die Mechanik trifft einen Nerv der europäischen Regeln. E-Geld-Token (EMT) müssen unter MiCA Reserven vorhalten und offenlegen, und ein datenschutzfreundlicher Reservenachweis ist genau die Art Werkzeug, das EU-Emittenten bald anbieten könnten, ohne Geschäftsgeheimnisse preiszugeben. Wie heikel die Kontrolle über Stablecoin-Reserven ist, hat die Debatte um den Freeze-Button als Regelwerk gezeigt.

Die Token-Lücke: die Beweise laufen, die Kurse nicht

Während die Technik vorankommt, bleibt der Markt skeptisch. Praktisch jeder Token, der verifizierbare Rechenleistung verkauft, notiert tief unter seinem Allzeithoch, und das trotz lauffähiger, technisch glaubwürdiger Infrastruktur. Die folgenden Zahlen stammen von CoinGecko mit Stand 9. Oktober 2026.

Die Verteilung erzählt eine Geschichte. Der einzige Wert mit nennenswertem Lauf in den letzten 30 Tagen war mit rund 96 Prozent Plus PHA, der TEE-Token, passend dazu, dass die schnelle Hardware-Ecke als Erste in Produktion ging; doch auch PHA gab zuletzt auf Wochensicht wieder gut ein Fünftel ab und liegt weiter rund 96 Prozent unter seinem Hoch. Die reinen zkML-Beweis-Token LA und ZKC dümpeln nahe ihren Tiefs, und GIZA, dessen Projekt vom reinen zkML zu einem Agenten-Dienst schwenkte, markiert mit rund 99,9 Prozent unter dem Hoch die brutalste Linie des Sektors (die dünne Liquidität macht den Tageskurs dort fast bedeutungslos). Die Botschaft des Marktes ist unbequem, aber klar: Lauffähige Technik ist nicht dasselbe wie Nachfrage. Wer kauft die Beweise, und muss überhaupt ein eigener Token dazwischenstehen? Alle Kurse laut CoinGecko.