METRs Zeithorizonte erklärt: Was 50 Prozent Zuverlässigkeit bedeuten

Kurzfassung: METRs 50-Prozent-Zeithorizont bezeichnet die menschliche Aufgabendauer, bei der ein Agent voraussichtlich die Hälfte der Versuche erfolgreich abschließt. Er sagt nicht, wie viele Stunden ein Agent sicher unbeaufsichtigt laufen kann.^[1] Das aktuelle Dashboard warnt, dass Schätzungen oberhalb von 16 Stunden mit dem bestehenden Aufgabensatz unzuverlässig sind. Für den Produktionseinsatz müssen Unternehmen weiterhin abgenommene Ergebnisse, Prüfaufwand und Fehlerbehebung an ihrer eigenen Arbeit messen.^[2]

Ein Diagramm mit Stundenangaben lässt sich besonders leicht in ein Personalversprechen umdeuten. Bei einem Zeithorizont von acht Stunden liegt die Vorstellung nahe, der Agent könne einen Arbeitstag übernehmen. Diese Interpretation verlangt von der Kennzahl etwas, wofür sie nie entwickelt wurde.

Unsere frühere METR-Berichterstattung untersuchte, wer die Organisation führt. Hier geht es darum, was ihre Messung bedeutet. Die eigentliche Geschichte ist nicht, ob Fortschritte in Benchmarks wichtig sind. Das sind sie. Wirtschaftlich entscheidend ist, wie viel davon beim Übergang von einer bewerteten Aufgabe zu einem abgenommenen Ergebnis übrig bleibt. Diese Analyse vom 20. September greift erstmals im März 2025 veröffentlichte Forschung und spätere methodische Aktualisierungen auf. Sie meldet kein neues Modellergebnis.^[1]

Titelbild: generierte redaktionelle Illustration. Uhr und Prüfvorrichtung veranschaulichen einen Unterschied; sie zeigen weder METRs Ausrüstung noch Messergebnisse.

Die Bezugsgröße: Menschliche Arbeit, nicht Agentenlaufzeit

Die ursprüngliche Studie definiert eine Erfolgsschwelle für Aufgaben, deren Dauer anhand menschlicher Bearbeitungszeiten eingeordnet wird. Eine angepasste Kurve verknüpft diese Dauer mit dem Erfolg des Agenten. Ihr Schnittpunkt mit 50 Prozent ergibt ein Maß für Aufgabenschwierigkeit in vertrauten Einheiten.^[1]

Nehmen wir einen hypothetischen Zeithorizont von zwei Stunden. Das bedeutet weder eine zweistündige Modellsitzung noch zwei Stunden bezahlte Inferenz oder zwei garantierte Stunden Zeitersparnis. Das sind eigenständige betriebliche Messgrößen. Ebenso wenig folgt daraus, dass sich jede kürzere Aufgabe sicher delegieren lässt. Unsere Empfehlung: Halten Sie diese Unterschiede in jeder Beschaffungsvorlage fest, die das Diagramm zitiert.

METRs Januar-Notiz zu den Grenzen der Methode widerspricht ausdrücklich der Umrechnung eines Zeithorizonts in eine erlaubte unbeaufsichtigte Arbeitsdauer. Sie erklärt auch, dass ein längerer Horizont nicht automatisch proportional weniger menschliche Eingriffe bedeutet.^[3] Ein leistungsfähigerer Agent kann später scheitern, nachdem er Änderungen vorgenommen hat, deren Aufarbeitung länger dauert. Diese Möglichkeit gehört neben den erfolgreichen Durchläufen in die Wirtschaftlichkeitsrechnung.

Die Erfolgsschwelle: Erst die Kurve, dann die Schlagzeile

Das Dashboard bietet Ansichten für 50 und 80 Prozent Erfolg. Grundlage sind vor allem Aufgaben aus Softwareentwicklung, maschinellem Lernen und Cybersicherheit, nicht sämtliche Formen von Büroarbeit.^[2] Für eine Kaufentscheidung müssen sowohl Aufgabenprofil als auch Zuverlässigkeitsanforderung passen.

Behandeln Sie die beiden Erfolgsansichten als zusammenhängende Schätzungen. Laut METR stammen sie aus demselben angepassten Modell, nicht aus unabhängigen Messungen. Für Zeithorizonte mit 99 Prozent und höherer Zuverlässigkeit wären laut der Methodennotiz erheblich größere und bessere Benchmarks nötig.^[3] Leiten Sie aus diesem nicht vermessenen Bereich keine Beschaffungsgarantie ab.

Bei einem explorativen Codevorschlag kann ein gescheiterter Versuch wenig kosten. Bei einer Änderung, die unbemerkt einen Bericht verfälscht, kann es teuer werden. Die tolerierbare Fehlerquote ergibt sich aus den Folgen eines Fehlers und seiner Erkennbarkeit im Arbeitsablauf. Sie ergibt sich nicht aus der Position des Modells auf einem öffentlichen Diagramm.

Gleiche Schlagzeile, unterschiedlich nutzbarer Bereich

METRs angepasste Beziehung lässt sich als p(t) = 1 / (1 + (t/h)^β) schreiben: t bezeichnet die menschliche Aufgabendauer, h den 50-Prozent-Horizont und β den Steigungsparameter. Der 80-Prozent-Horizont lautet h × (1/4)^(1/β).^[5] Die folgende Rechnung ist unser hypothetisches Beispiel, kein Vergleich zweier vermessener Modelle.

Beide Kurven erreichen bei 120 Minuten eine Erfolgswahrscheinlichkeit von 50 Prozent. Doch B erreicht 80 Prozent bei einer doppelt so langen Aufgabendauer wie A. Bei 60 Minuten sagt A 1/(1+0,5), also zwei Drittel Erfolg voraus; B sagt 1/(1+0,25), also 80 Prozent voraus. Wer nur die gemeinsame Zwei-Stunden-Schlagzeile nennt, lässt für höhere Zuverlässigkeitsanforderungen relevante Informationen weg. Die Rechnungen veranschaulichen die Kurvenform. Sie bestätigen nicht, dass die Kurven zu irgendeinem realen Arbeitsvorrat passen.

Trennen Sie außerdem Erfolgswahrscheinlichkeit und statistische Konfidenz. Der „80-Prozent-Horizont“ bezeichnet einen Punkt auf der angepassten Erfolgskurve. Ein „95-Prozent-Konfidenzintervall“ betrifft die Unsicherheit eines geschätzten Parameters unter den Annahmen des Intervallverfahrens. Es bedeutet weder, dass 95 Prozent der Aufgaben innerhalb dieser Zeit fertig werden, noch, dass ein 80-Prozent-Horizont dadurch 95 Prozent zuverlässig wird. Keine dieser Zahlen misst die Wahrscheinlichkeit, Ihre nächste Veröffentlichungsfrist einzuhalten.

Die Fehlerbalken: Auch die Messmethode verändert Ergebnisse

TH1.1 erschien am 29. Januar 2026 und erweiterte den Aufgabensatz von 170 auf 228 Aufgaben. Die Zahl der Aufgaben mit geschätzten acht Stunden oder mehr stieg von 14 auf 31. Allerdings lagen nur für fünf dieser 31 Aufgaben gemessene menschliche Bearbeitungszeiten vor; der Rest beruhte auf Schätzungen.^[4] Das ist eine nützliche Verbesserung mit einer sichtbaren Messgrenze.

Die Modellierungsnotiz vom 20. März ergänzt einen weiteren Vorbehalt. Die Korrektur eines Regularisierungsfehlers senkte die 50-Prozent-Zeithorizonte neuerer Modelle um bis zu 20 Prozent. Der Autor nennt die Aufgabenverteilung als wichtigste Unsicherheitsquelle und zeigt, dass vertretbare alternative Kurvenanpassungen die Punktschätzungen verändern können.^[5]

Deshalb sollten Version, Datum und Intervall beim Übernehmen eines Ergebnisses erhalten bleiben. Diese Einschränkungen beweisen nicht, dass das gesamte Forschungsprogramm wertlos wäre. Eine Beschaffungsfolie, die sie entfernt, erzeugt eine Sicherheit, welche die Quelle nicht bietet. Vergleichen Sie Ergebnisse derselben Methodik. Verkaufen Sie einen revidierten historischen Wert nicht als neue Leistungssteigerung des Modells.

Die Aufgabengrenze: Ein bestandener Test ist kein fertiges Produkt

Die zugrunde liegenden Benchmarks verdeutlichen den Messgegenstand. Die HCAST-Studie vom März 2025 beschreibt 189 Aufgaben und 563 menschliche Referenzdurchläufe. Zu ihren Einschränkungen zählen begrenzter Umfang, automatische Bewertung und allein bearbeitete Softwareaufgaben.^[6] Das im November 2024 vorgestellte RE-Bench nutzt sieben Forschungsentwicklungsumgebungen mit expliziten Zielen wie der Verbesserung eines GPU-Kernels.^[7]

Das sind nützliche Tests tatsächlicher technischer Fähigkeiten. Sie bilden nicht jede Abhängigkeit der Produktpflege ab: die Bedeutung einer Anfrage klären, ungeschriebene Konventionen bewahren, die zuständige Person finden und mit strittigen Anforderungen umgehen. Unsere Schlussfolgerung: Eine betriebliche Evaluierung sollte diese schwierigen Teile erhalten, statt sie zu entfernen, um einen Benchmark nachzuahmen.

METRs Aktualisierung zur ganzheitlichen Bewertung vom August 2025 untersuchte 18 Aufgaben aus zwei Repositories mit Agenten von Anfang 2025. Funktional korrekte Ergebnisse konnten noch Nacharbeit an Tests, Formatierung oder Codequalität benötigen. Die Autoren beschreiben vorläufige Ergebnisse, keine Obergrenze künftiger Agentenleistung.^[8] Daraus folgt, Abnahme und Bestehen vorhandener Tests getrennt zu messen. Daraus folgt nicht, das damalige Fehlermuster jedem aktuellen Modell zuzuschreiben.

Der betriebliche Test: Abgenommene Arbeit und Nacharbeit erfassen

Das folgende Vorgehen ist unser Vorschlag für eine Evaluierung, kein von uns durchgeführtes Experiment. Beginnen Sie mit einer repräsentativen Auswahl tatsächlicher Arbeit, einschließlich Aufgaben mit Klärungsbedarf. Bewahren Sie Ausgangszustand, Anweisungen und Erfolgskriterien auf, damit ein späteres Modell denselben Test durchlaufen kann.

Dokumentieren Sie genaue Modellversion, Agentenwerkzeuge, Berechtigungen, Prompt, Wiederholungsregeln und Ausgabenlimit. Werden diese zwischen Kandidaten verändert, verändert sich auch das geprüfte System. Halten Sie einen separaten Testsatz aus der Prompt-Optimierung heraus. Lassen Sie die Person, die solche Arbeit normalerweise abnimmt, das Ergebnis nach denselben Maßstäben wie eine menschliche Abgabe prüfen.

Legen Sie die Abbruchregel vor dem Pilotversuch fest. Eine Aufgabe sollte an einen Menschen zurückgehen, sobald ihr Budget erschöpft ist, eine Anforderung ungeklärt bleibt oder eine nicht freigegebene Aktion nötig wird. Berichten Sie nach Aufgabenfamilie, mit Stichprobengröße und Unsicherheit. Verstecken Sie keine versagende Kategorie in einem günstigen Durchschnitt.

Eine Kostenrechnung, die Fehlschläge mitzählt

Ein hypothetischer Pilot beginnt mit 20 unterschiedlichen Aufgaben. Zwölf Ergebnisse werden unverändert abgenommen, vier nach Reparatur, vier abgelehnt. Über alle Versuche hinweg kosten Inferenz und Werkzeuge 40 US-Dollar. Vorbereitung und Prüfung benötigen 200 menschliche Minuten; die Reparatur der vier brauchbar zu machenden Ergebnisse weitere 120 Minuten. Zwei später entdeckte Fehler verursachen zusätzlich 80 Minuten für Rückabwicklung und Wiederherstellung. Nehmen wir an, diese Vorfälle sind behoben und alle 16 abgenommenen Ergebnisse gelten am Berichtsstichtag weiterhin als abgenommen.

Bei angenommenen vollständigen Personalkosten von 60 US-Dollar pro Stunde kosten die 400 menschlichen Minuten 400 US-Dollar. Der Pilot gibt somit 440 US-Dollar für 16 abgenommene Ergebnisse aus, also jeweils 27,50 US-Dollar. Allein die Maschinenrechnung von 40 US-Dollar würde 2,50 US-Dollar je abgenommenem Ergebnis nahelegen. Dieser Faktor elf folgt aus unseren angenommenen Personalkosten, nicht aus einer empirischen Aussage über Agenten.

Die vier abgelehnten Aufgaben bleiben unerledigt. Braucht ein Mensch weitere 120 Minuten für ihren Abschluss, kostet der kombinierte Ablauf 560 US-Dollar für alle 20 Ergebnisse, also jeweils 28 US-Dollar. Zählen Sie diese vier nicht als Agentenerfolge. Als bewusst vereinfachten Vergleich nehmen wir an, die rein menschliche Bearbeitung derselben 20 Aufgaben würde einschließlich Prüfung jeweils 30 Minuten zum selben Stundensatz benötigen: insgesamt 600 US-Dollar. Unter diesen Annahmen spart der kombinierte Ablauf 40 US-Dollar beziehungsweise 6⅔ Prozent vor festen Einrichtungskosten. Bereits 60 US-Dollar Einrichtungskosten würden den Vorteil umkehren.

Ersetzen Sie jede Annahme durch lokal gemessene Werte. Tatsächliche Aufgabenschwierigkeit, Prüferkosten und Schwere von Vorfällen unterscheiden sich. Erfassen Sie die verstrichene Zeit separat: Weniger Arbeitsaufwand bedeutet nicht automatisch kürzere Wartezeit für Kunden. Nennen Sie auch den Beobachtungszeitraum für Fehler. Ein unmittelbar nach Abnahme abgeschlossener Bericht kann Fehler der nächsten Woche noch nicht enthalten. Ihnen deshalb Kosten von null zuzuweisen wäre irreführend.

Ein Pilotbericht, der einer Prüfung standhält

Legen Sie Entscheidung und Stichprobe fest, bevor Ergebnisse vorliegen. Ein Pilot könnte etwa prüfen, ob ein bestimmter Agent eine definierte Familie reversibler Wartungsaufgaben innerhalb eines Ausgabenlimits bewältigt. Ziehen Sie die Stichprobe aus dem geeigneten Arbeitsvorrat, statt einprägsame Erfolge auszuwählen. Dokumentieren Sie Ausschlüsse mit Begründung und entfernen Sie keine unbequeme Aufgabe nach einem gescheiterten Durchlauf.

Zwanzig erfolgreiche Durchläufe derselben einfachen Aufgabe sind nicht zwanzig unabhängig gezogene Aufgaben. Gemeinsame Repositories, ähnliche Anforderungen und wiederholte Prompts können Ergebnisse voneinander abhängig machen. Nutzen Sie beim Systemvergleich dieselben Ausgangszustände, verhindern Sie den Zugriff eines Systems auf die Lösung des anderen und erfassen Sie die Ergebnisse als Aufgabenpaare. Berücksichtigen Sie bei der Unsicherheitsanalyse sinnvolle Aufgabengruppen, statt jeden erneuten Versuch als unabhängigen Beleg zu behandeln.

Selbst eine perfekte kleine Stichprobe verlangt Zurückhaltung. In einem illustrativen Modell unabhängiger Versuche mit konstanter Erfolgswahrscheinlichkeit von 95 Prozent beträgt die Wahrscheinlichkeit für 20 Erfolge bei 20 Versuchen 0,95^20, auf zwei Nachkommastellen gerundet 35,85 Prozent. Ein fehlerfreier Pilot mit 20 Durchläufen ist also mit einem System vereinbar, dessen tatsächliche Fehlerwahrscheinlichkeit 5 Prozent beträgt. Diese Rechnung ist kein Konfidenzintervall und behauptet nicht, dass Produktionsaufgaben die Unabhängigkeitsannahme erfüllen.

NIST beschreibt Intervallverfahren für Anteilswerte und warnt, dass symmetrische Normalapproximationen bei wenigen Beobachtungen oder Fehlern ungenau sein können.^[9] Wählen Sie ein geeignetes Verfahren und eine Abbruchregel vorab. Nennen Sie neben dem Intervall die absoluten Anzahlen. Ein enges Intervall bei einer nicht repräsentativen Stichprobe beantwortet weiterhin die falsche betriebliche Frage. Halten Sie nach der Optimierung einen separaten Testsatz für die endgültige Entscheidung zurück und überprüfen Sie die Abnahme erneut, wenn sich Modell oder Ablauf ändern.

Die unbequeme Wahrheit lautet: Ein größerer Zeithorizont entbindet niemanden davon, gute Arbeit zu definieren. METR liefert ein wertvolles Signal über Fähigkeiten. Ihr Abnahmeprozess bestimmt, wie viel davon zu verlässlichen Ergebnissen wird. Bezahlen Sie für Letztere.

Quellen und Referenzen

Hervorgehobene Kernquellen: 1, 2, 3 und 5.

Zuletzt aktualisiert: 20. September 2026