Agentenzuverlässigkeit: Warum 99% je Schritt kein Serviceversprechen sind

Titelbild: KI-generierte redaktionelle Illustration verbundener Werkzeugstationen mit einer gebrochenen Kupplung. Sie veranschaulicht Abhängigkeiten im Arbeitsablauf und zeigt keine gemessene Agentenleistung.

Kurzfassung: Ein Ablauf mit 20 unabhängigen Schritten, die jeweils mit 99% Wahrscheinlichkeit gelingen, endet in 81,79% der Versuche vollständig fehlerfrei; das ist ein Rechenbeispiel und keine Modellmessung. Das ursprüngliche τ-bench vom Juni 2024 führte pass^k ein: die Frage, ob ein Agent jeden wiederholten Versuch besteht, statt nur einen Erfolg in k Versuchen zu finden.^[1] Die wirtschaftliche Chance liegt im überprüften Abschluss und in sicherer Wiederherstellung.

Die Agentenbranche verkauft erledigte Arbeit, demonstriert aber oft erfolgreiche Einzelversuche. Das sind unterschiedliche wirtschaftliche Einheiten. Wer Kontenverwaltung, Bestelländerungen oder einen internen Betriebsassistenten kauft, muss wissen, ob der beabsichtigte Zustand erreicht wurde, ob die Änderung erlaubt war und was beim Ausfall einer Abhängigkeit geschah.

Diese Analyse greift Forschung auf, die erstmals zwischen 2023 und 2025 erschien. Sie ist keine neue Rangliste der Modelle vom November 2026. Die bleibende Frage lautet, wie aus einer überzeugenden Einzelfähigkeit ein verlässlicher Ablauf wird, sobald Werkzeuge, Richtlinien und Nutzer gemeinsam das Ergebnis bestimmen.

Die Kennzahl: Ein Erfolg ist etwas anderes als verlässlicher Service

τ-bench trennt zwei nützliche Fragen. Pass@k prüft, ob mindestens einer von k Versuchen gelingt. Pass^k prüft, ob alle k Versuche gelingen, gemittelt über die Aufgaben. Käufer sollten die Kennzahl verlangen, die zum Leistungsversprechen passt.^[1]

Betrachten wir eine ausdrücklich vereinfachte Aufgabe mit einer festen, unabhängigen Erfolgswahrscheinlichkeit von 90%. Vier Versuche ergeben eine Chance von 99,99% auf mindestens einen Erfolg. Die Wahrscheinlichkeit, dass jeder Versuch gelingt, beträgt dagegen nur 65,61%. Keine der Zahlen ist unehrlich. Sie beantworten unterschiedliche Fragen. Die Auswahl eines korrekten Ergebnisses verlangt zudem eine wirksame Prüfung; ein überzeugendes Gesprächsprotokoll ist kein Nachweis.

Ein Rechercheassistent, der einen brauchbaren Kandidaten sucht, kann von mehreren Versuchen profitieren. Ein Assistent, der jede gewünschte Kundenänderung ausführt, muss alle Kunden berücksichtigen. Das zweite Geschäftsmodell kann nicht einfach die Erfolgskennzahl des ersten übernehmen, ohne zu erklären, wer misslungene Versuche erkennt und behebt. Wiederholungsbudgets, Prüfarbeit und unbemerkte Schäden gehören zur Kostenrechnung.

Die Rechnung: Kleine Fehler summieren sich über Abhängigkeiten

Gelingt jeder notwendige Schritt unabhängig mit Wahrscheinlichkeit p und umfasst die Aufgabe n Schritte, beträgt die Wahrscheinlichkeit einer vollständig erfolgreichen Folge pⁿ. Das ist ein Lehrmodell, keine Schätzung für einen eingesetzten Agenten. Reale Fehler können korreliert sein, Wiederholungen können sie beheben, und verzweigte Abläufe können unnötige Schritte vermeiden.

Rechenbeispiel

Vollständiger Erfolg bei 99% Erfolgswahrscheinlichkeit je Schritt

Jede Zeile berechnet 100 × 0,99ⁿ. Alle Schritte sind erforderlich, Fehler sind unabhängig, Wiederholungen und Wiederherstellung bleiben unberücksichtigt.

1 notwendiger Schritt

99,00%

10 notwendige Schritte

90,44%

20 notwendige Schritte

81,79%

50 notwendige Schritte

60,50%

0%Wahrscheinlichkeit, dass alle Schritte gelingen100%

Veranschaulichende Wahrscheinlichkeitsrechnung von LLM Rumors, kein Benchmark. Ein Werkzeugaufruf entspricht nicht zwingend einem unabhängigen Korrektheitsereignis. Korrelation und Wiederherstellung verändern das Ergebnis.

Daraus folgt nicht, Werkzeugnutzung blind zu reduzieren. Ein Prüfaufruf kann die Anzahl der Aufrufe erhöhen und gleichzeitig die Wahrscheinlichkeit einer falschen Endaktion senken. Das richtige Ziel sind unnötige Risiken: doppelte Entscheidungen, mehrdeutige Zwischenzustände und Operationen ohne klares Abschlusssignal. Eine zusätzliche Prüfung kann wirtschaftlich wertvoll sein, wenn sie teure Nacharbeit verhindert.

Das Ergebnis: Erst den Zustand prüfen, dann den Weg

WebArena prüft den funktionalen Abschluss in realistischen Webumgebungen. OSWorld bietet ausführungsbasierte Prüfungen für Desktop-Aufgaben.^[4][5] Beide lenken den Blick auf eine bessere Produktfrage: Was hat sich außerhalb des Gesprächs verändert?

Auch die Ergebnisprüfung hat Grenzen. Die Autoren von τ-bench weisen ausdrücklich darauf hin, dass ein korrekter Datenbankendzustand mit einem Richtlinienverstoß zusammenfallen kann, etwa einer fehlenden vorgeschriebenen Bestätigung.^[1] Eine Erstattung in korrekter Höhe kann trotzdem falsch sein, wenn der Kunde sie nie genehmigt hat. Endzustandskorrektheit und Verfahrenskonformität sollten deshalb getrennte Felder einer Bewertung sein.

Der Unternehmenskontext von WorkArena zeigt eine weitere Grenze: Leistung auf einer Verbraucherwebsite belegt keine Leistung in einem Verwaltungsablauf eines Unternehmens.^[6] Die acht Umgebungen von AgentBench unterstreichen, dass Agentenkompetenz mehrere Dimensionen hat.^[7] Käufer brauchen repräsentative Aufgaben aus dem eigenen System, einschließlich seltener, aber kostspieliger Fälle. Ein zusammengefasster Wert mit unsichtbaren Fehlerkategorien reicht nicht aus.

Der Nutzer: Koordination eröffnet eine weitere Fehlerquelle

Die am 9. Juni 2025 veröffentlichte Arbeit τ²-bench führte eine Telekommunikationsumgebung mit gemeinsamer Kontrolle ein. Dort kann der simulierte Nutzer selbst auf das gemeinsame Problem einwirken und darüber sprechen. Die Autoren berichten, dass die Anleitung von Nutzern zusätzliche Schwierigkeiten gegenüber einem allein handelnden Agenten schafft.^[2]

Das ist für Supportanbieter entscheidend. Die Anweisung, ein Gerät neu zu starten, beweist keinen tatsächlichen Neustart. Die Bitte um eine Kennung beweist nicht, dass diese zum richtigen Konto gehört. Der Agent braucht beobachtbare Kontrollpunkte und eine klare Darstellung verbleibender Unsicherheit. Sonst trifft der Ablauf selbstsichere Entscheidungen auf Grundlage bloß angenommener Handlungen.

Eine sinnvolle Bewertung trennt Fehler im Denken, in der Kommunikation, in der Werkzeugausführung und bei der Umsetzung durch den Nutzer. Sie erfasst auch, ob der Agent das Problem erkannt hat. Ein gescheiterter Versuch mit sicherer Eskalation kann das bessere Serviceergebnis sein als ein scheinbarer Erfolg, der den Zustand beschädigt. Diese Ergebnisse brauchen unterschiedliche Kostenansätze und Freigabekriterien.

Wiederherstellung: Vor der Autonomie kommt die Transaktion

Amazons Leitfaden zu idempotenten APIs erklärt, warum eine wiederholte Anfrage eine stabile Beschreibung der Absicht braucht: Ein Zeitlimit verrät nicht, ob die ursprüngliche Aktion bereits ausgeführt wurde.^[3] Wiederholt ein Agent eine Zahlung oder Reservierung, begegnet ihm dasselbe Problem verteilter Systeme wie jedem anderen Client. Besseres sprachliches Schlussfolgern beseitigt es nicht.

Ein praktischer Rollout sollte eine Operationskennung, die Genehmigung, die erwartete Zustandsänderung und das anschließend beobachtete Ergebnis erfassen. Vor der Wiederholung einer folgenreichen Aktion sollte ein Abgleich den aktuellen Zustand prüfen. Wiederholungen brauchen Grenzen und einen Weg zur menschlichen Nachbearbeitung. Googles Leitfaden zu Überlast ergänzt die Lehre: Clients und Dienste müssen Kapazitätsgrenzen ausdrücklich handhaben, statt die Last zu verstärken.^[8]

Die unbequeme Wahrheit lautet: Ein Agent kann leistungsfähiger werden, während sein Produkt schwerer zu betreiben ist. Mehr Werkzeuge schaffen mehr mögliche Zustandsänderungen, längere Abläufe mehr Gelegenheiten für Mehrdeutigkeit. Wertvolle Anbieter machen diese Grenzen verständlich, berechnen den Prüfaufwand und belegen die Wiederherstellbarkeit. Autonomie verdient ihre Marge, wenn Fehler einen kontrollierten Ausgang haben.

Quellen: Studien und Methodik

Zuletzt aktualisiert: 9. November 2026