Test-Time Compute: Der Prüfer gehört zum Geschäftsmodell

Kurzfassung: In der ursprünglichen Tree-of-Thoughts-Studie stieg GPT-4s Erfolgsquote beim Game of 24 von 4 % mit Chain-of-Thought-Prompting auf 74 % mit einer Suche der Breite fünf; der Rechenaufwand unterschied sich dabei.^[5] Eine separate Studie zur Prozessaufsicht meldete 78 % auf ihrer repräsentativen MATH-Testteilmenge; keines der Ergebnisse belegt einen allgemeinen Kostenvorteil.^[2] Entscheidend ist, wie viel Erzeugung, Prüfung und Wartezeit jedes akzeptierte Ergebnis verbraucht.

Ein Reasoning-System kann besser werden, ohne seine zugrunde liegenden Gewichte zu verändern. Es kann Alternativen entwerfen, Zwischenschritte prüfen und einer schwierigen Frage eine weitere Runde widmen. Damit wird Inferenz zu einer Entscheidung über die Verteilung von Ressourcen: Jemand muss das Budget festlegen und das Ergebnis beurteilen.

Die eigentliche Geschichte lautet nicht, dass längere Antworten intelligenter sind. Ein Dienst kann entscheiden, welche Fragen aufwendige Arbeit verdienen. Diese Analyse vom 9. November 2026 betrachtet Forschung aus den Jahren 2021 bis 2025 neu. Es handelt sich um historische Experimente, nicht um eine Rangliste heutiger Modelle oder die Meldung einer Neuveröffentlichung.

KI-generierte redaktionelle Illustration: Mechanische Zeichenarme erstellen Entwürfe, von denen eine Prüflupe einen auswählt. Das Bild veranschaulicht Ressourcenverteilung und Verifikation, keine gemessene Modellleistung oder nachgewiesene Zuverlässigkeit eines Prüfers.

Ressourcenverteilung: Dasselbe Budget kann unterschiedliche Arbeit kaufen

Charlie Snell und seine Mitautoren untersuchten in ihrer Arbeit vom 6. August 2024 die Suche mit Prozessprüfern und die erlernte Überarbeitung von Antworten. Ihre schwierigkeitsabhängige Strategie erzielte im untersuchten MATH-Setting eine mehr als vierfach bessere Effizienz beim Rechenaufwand zur Inferenzzeit gegenüber einer Best-of-N-Basis. Als Basis diente PaLM 2-S* mit aufgabenspezifischem Training. Die Arbeit weist auch darauf hin, dass die Schätzung der Schwierigkeit selbst teuer sein kann.^[1]

Diese Einschränkung ist wirtschaftlich entscheidend. Eine Steuerung, die viel Aufwand darauf verwendet, die Schwierigkeit zu ermitteln, kann ihre versprochene Einsparung aufzehren. Ein Produktionsvergleich muss diese Entscheidungskosten, verworfene Versuche und die Abschlussprüfung einschließen. Die relevante Systemgrenze umfasst den vollständigen Dienst, von der eingehenden Anfrage bis zum akzeptierten Ergebnis.

Drei Budgets sollten getrennt bleiben. Erstens die gesamte Arbeit über alle Suchzweige. Zweitens die verstrichene Zeit entlang des kritischen Pfads. Drittens die gleichzeitig reservierte Kapazität, während Zweige laufen. Parallele Suche kann die Wartezeit verkürzen und zugleich mehr Berechnung verbrauchen. Sequenzielle Überarbeitung kann Gleichzeitigkeit einsparen und Kunden länger warten lassen. Die Wortzahl der sichtbaren Antwort entscheidet keinen dieser Zielkonflikte.

Verifikation: Ein zweites Modell schafft eine zweite Fehlerquelle

Cobbe und seine Mitautoren stellten im Oktober 2021 GSM8K vor und trainierten Prüfer, die Lösungskandidaten bewerten. Ihr Aufbau trennt die Erzeugung eines Kandidaten von seiner Auswahl.^[3] Darauf lässt sich ein wirtschaftliches Modell aufbauen: Erzeugung kauft Optionen, während die Prüfung bestimmt, welche Optionen ausgeliefert werden dürfen.

Lightman und seine Mitautoren verglichen im Mai 2023 Ergebnisaufsicht mit Rückmeldungen zu Zwischenschritten. Sie meldeten 78 % auf einer repräsentativen MATH-Testteilmenge und veröffentlichten als PRM800K insgesamt 800.000 Rückmeldungsmarkierungen zu einzelnen Schritten.^[2] Verifikation war eine ausdrücklich trainierte Fähigkeit mit Datenkosten, keine kostenlose Folge der Aufforderung, sorgfältig vorzugehen.

Ein Unternehmen sollte den Prüfer deshalb mit dem tatsächlich eingesetzten Generator testen. Eine richtige Endantwort kann ungültige Argumentation enthalten; eine überzeugende Gedankenkette kann ein falsches Ergebnis verbergen. Ein erlernter Wert liefert einen Hinweis auf erwarteten Erfolg. Er entspricht weder einem ausführbaren Beweis noch einem bestandenen unabhängigen Test oder einer bestätigten externen Tatsache.

Suchbreite: Mehr Erfolg bedeutet keinen Erfolg zu gleichen Kosten

Die Tree-of-Thoughts-Arbeit vom Mai 2023 liefert ein kompaktes Beispiel. Die Autoren meldeten für GPT-4 beim Game of 24 Erfolgsquoten von 4 % mit Chain-of-Thought-Prompting, 45 % mit Suchbreite eins und 74 % mit Suchbreite fünf. Die Zahlen stammen aus derselben Studie und Aufgabe, aber aus unterschiedlichen Suchverfahren und Rechenbudgets.^[5]

Datengrafik

Erfolg beim Game of 24 in der ursprünglichen Studie

Von den Autoren gemeldete GPT-4-Ergebnisse für 100 relativ schwere Spiele, Tabelle 2. Experimente vom 5. bis 16. Mai 2023 bei Temperatur 0,7; unterschiedliche Suchbudgets.

Chain-of-Thought-Prompt

4 %

Tree of Thoughts, Breite 1

45 %

Tree of Thoughts, Breite 5

74 %

0 %Gelöste Aufgaben100 %

Quelle: Yao et al., Tree of Thoughts, 2023. Von den Autoren gemeldeter Aufgabenerfolg, kein Vergleich bei gleichen Kosten oder gleicher Latenz. Historischer GPT-4-Aufbau; keine Aussage über heutige Modelle oder Produktionsdurchsatz.

Die nützliche Lehre lautet, das Budget neben der Genauigkeit stehen zu lassen. Das im März 2022 vorgestellte Self-Consistency-Verfahren erzeugt stattdessen mehrere Lösungswege und bündelt ihre Antworten.^[4] Übereinstimmung kann hilfreich sein. Eine betriebliche Akzeptanzregel sollte dennoch prüfen, ob alle Wege dieselbe falsche Voraussetzung teilen. Mehr übereinstimmende Kandidaten liefern nicht automatisch mehr unabhängige Belege.

Evaluation: Erst die Aufgabe benennen, dann die Punktzahl nennen

Der ursprüngliche, im März 2021 vorgestellte MATH-Datensatz enthält 12.500 Wettbewerbsaufgaben aus der Mathematik.^[8] Bei einem Ergebnis auf einer ausgewählten Teilmenge muss diese Teilmenge benannt werden. Aufgaben, Prompt, Antwortprüfung, Stichprobenbudget und Prüfer bestimmen, was das Ergebnis tatsächlich misst.

Die Test-Time-Scaling-Studie von Liu und seinen Mitautoren vom Februar 2025 untersuchte MATH-500 und AIME24 und betonte die Abhängigkeit vom erzeugenden Modell, Prozessbelohnungsmodell und Schwierigkeitsgrad.^[6] Ihre Vergleiche kleiner Modelle betreffen Forschungskonfigurationen. Sie belegen nicht, dass ein kleineres System bei einer Unternehmensaufgabe billiger, schneller oder zuverlässiger arbeitet.

Eine weitere Messfalle besteht darin, erzeugte Tokens mit Denken gleichzusetzen. Die Arbeit von Geiping und seinen Mitautoren vom Februar 2025 zur rekurrenten Tiefe skaliert Berechnung im latenten Raum.^[7] Eine Beschaffungsbewertung sollte gemessene Dienstkosten und Latenzen verlangen, statt anzunehmen, dass jede Architektur ihre Arbeit im selben Tokenzähler sichtbar macht.

Wirtschaftlichkeit: Für akzeptierte Ergebnisse bezahlen

Betrachten wir eine ausdrücklich hypothetische Arbeitslast. Ein Dienst gibt pro Aufgabe 0,02 US-Dollar für Erzeugung und 0,01 US-Dollar für Prüfung aus. 60 % der Aufgaben werden unabhängig akzeptiert. 0,03 US-Dollar geteilt durch 0,60 ergeben 0,05 US-Dollar pro akzeptierter Aufgabe. Eine aufwendigere Konfiguration mit 0,06 US-Dollar Ausgaben und 80 % Akzeptanz kostet 0,075 US-Dollar pro akzeptierter Aufgabe. Das sind Rechenannahmen, keine Anbieterpreise oder Messergebnisse.

Die Konfiguration mit höherem Erfolg kann trotzdem die richtige Anschaffung sein, wenn Fehler teuer sind. Entscheidend ist, diese Entscheidung sichtbar zu machen. Menschliche Prüfung, Nacharbeit, abgebrochene Anfragen und verpasste Fristen gehören ebenfalls in die Rechnung. Erst dann lässt sich entscheiden, ob ein weiterer Suchzweig mehr Wert schafft als die Übergabe an einen Menschen oder die Ablehnung der Anfrage.

Zusätzliche Berechnung ist eine Investition in eine bestimmte Antwort. Das stärkste Reasoning-Produkt wird nicht bei jeder Anfrage am längsten nachdenken. Es wird zeigen können, weshalb sich eine weitere Arbeitseinheit zu kaufen lohnte.

Quellen und Belege

Zuletzt aktualisiert: 9. November 2026