OpenRouter Batch API: Inferenz zum halben Preis hat eine Frist, eine Datenspur und einen Haken

TL;DR: OpenRouter hat Batch am 22. September mit üblicherweise 50% Token-Preisen, mehr als 70 Modellen und einem Zeitfenster von 24 Stunden gestartet.^[1] Unser hypothetischer Auftrag für 1.280 US-Dollar sinkt vor Wiederherstellungskosten auf 640 US-Dollar. Entscheidend ist, ob Termin und Abgleichverfahren einen unvollständigen Auftrag verkraften.

Günstige Inferenz wird teuer, wenn ihr Ergebnis erst nach der Geschäftsentscheidung eintrifft. Batch-Verarbeitung macht diesen Zielkonflikt zur Kaufentscheidung: Welche Aufgaben können warten, und was tut das Unternehmen, wenn das Warten scheitert?

Die eigentliche Geschichte ist nicht der prozentuale Rabatt. Es geht um die Trennung interaktiver Aufgaben von Hintergrundverarbeitung. Dokumentenklassifizierung, Evaluierungen und Zusammenfassungen eines Rückstands sind plausible Kandidaten. Ein Kunde, der auf den Abschluss eines Kaufs wartet, benötigt eine andere Leistung.

Titelbild: generierte redaktionelle Illustration einer Warteschlange und einer Terminuhr. Sie zeigt keinen gemessenen Durchsatz.

Das Budget: Zuerst die Wiederherstellungsreserve berechnen

Nehmen wir 400 Millionen Eingabe-Token für 2 US-Dollar je Million und 60 Millionen Ausgabe-Token für 8 US-Dollar je Million an. Das sind hypothetische Tarife, kein Angebot für ein bestimmtes Modell. Für dieses Beispiel gilt ein angenommener Batch-Rabatt von exakt 50%.

Angenommen, 3% der Arbeit benötigen einen Wiederholungsversuch zum vollen Preis. Haben diese Datensätze dieselben durchschnittlichen Token-Kosten wie der gesamte Auftrag, kommen 38,40 US-Dollar hinzu: 1.280 × 0,03. Insgesamt wären es 678,40 US-Dollar, die Ersparnis betrüge 601,60 US-Dollar. Das ist eine Sensitivitätsrechnung, keine vorhergesagte Fehlerquote. Längere fehlerhafte Datensätze, weitere Versuche und Arbeitszeit verändern das Ergebnis.

Bei BYOK stellt der Anbieter die Inferenz getrennt von OpenRouters Gebühr in Rechnung.^[3] Gleichen Sie beide Rechnungen ab, bevor Sie Einsparungen feststellen. Ein Dashboard mit nur einer Seite der Transaktion bildet die Kosten unvollständig ab.

Caching benötigt einen eigenen Versuch. Laut OpenRouter können Anthropic-Batch-Anfragen gleichzeitig und in beliebiger Reihenfolge laufen. Der Cache-Schreibvorgang einer Zeile muss daher keiner anderen Zeile desselben Batches zugutekommen.^[6] Kalkulieren Sie zunächst ohne angenommene Cache-Treffer. Rechnen Sie beobachtete Einsparungen erst nach einem repräsentativen Lauf hinzu. Unser Leitfaden zu Prompt-Caching-Kosten erläutert die separate Rentabilitätsfrage.

Der Termin: Zeit für einen anderen Wiederherstellungsweg reservieren

OpenRouter berichtet über mehr als 230.000 abgeschlossene Beta-Batches: Median 7 Minuten, P90 1 Stunde, P99 10,3 Stunden. Diese Anbieter-Stichprobe ist weder ein SLA noch eine Grundlage für eine Erfolgsquote. Nicht offengelegte Aufgaben- und Hardwarebedingungen verhindern einen normalisierten Vergleich der Inferenzgeschwindigkeit.^[1]

Für einen Bericht, der am 24. September um 09:00 UTC vorliegen muss, lässt eine Einreichung am 23. September um 06:00 UTC insgesamt 27 Stunden. Planen Sie 24 Stunden für den ersten Versuch und drei Stunden für die Wiederherstellung ein. Ein zweites vollständiges Batch-Zeitfenster passt nicht in diese Reserve. Die Alternative muss nach eigenen Messungen in drei Stunden machbar sein: begrenzte synchrone Verarbeitung, ein reduzierter Bericht oder eine ausdrücklich akzeptierte Terminüberschreitung.

Legen Sie diese Wahl vor dem Start fest. Sonst erfindet ein Mitarbeiter unter Druck das Verfahren mit Produktionsdaten. Erfassen Sie Annahmezeit, Endzustand, validierte Ausgaben, ungeklärte Eingaben und Wiederherstellungskosten. Bewerten Sie vollständige Aufträge anhand ihres Geschäftstermins, nicht nur anhand eines attraktiven Medians.

Die Wiederherstellung: Bekannte Fehler von unbekannten Ergebnissen trennen

Der Quickstart liefert Ergebniszeilen nur bei completed; bei in_progress, failed, expired und cancelled gilt results: null. Listenantworten enthalten Metadaten, keine Ergebniszeilen. Zähler identifizieren keine einzelnen Ergebnisse.^[2]

Diese Grenze verlangt zwei unterschiedliche Verfahren. Das Folgende ist unsere Empfehlung für die Anwendung, keine API-Garantie.

Stellen wir uns einen abgeschlossenen Auftrag mit 10.000 Datensätzen vor: 9.700 brauchbare Ausgaben und 300 identifizierte Fehler. Ein neuer Versuch kann diese 300 Datensätze enthalten, nachdem Eingabefehler behoben wurden und das Budget geprüft wurde. Dieses Beispiel setzt tatsächliche Ergebniszeilen voraus. Es gilt nicht, wenn lediglich ein Zähler mit dem Wert 9.700 vorliegt.

Läuft ein POST vor Rückgabe einer ID in eine Zeitüberschreitung, liefert die dokumentierte Listenantwort keine Datensatzidentitäten, die den angenommenen Versuch eindeutig belegen. Ein dokumentierter Idempotenzvertrag löst diese Mehrdeutigkeit nicht auf. Eine blinde Wiederholung darf deshalb nicht als sicher dargestellt werden. Bewahren Sie Anfrage-Fingerabdruck, Zeitstempel und lokales Versuchsprotokoll zur Untersuchung auf. Entscheidet sich das Unternehmen dennoch für eine Wiederholung, muss es mögliche doppelte Inferenzkosten ausdrücklich akzeptieren.

Zuordnung und geschäftliche Idempotenz lösen unterschiedliche Probleme. Ein stabiler Bezeichner ordnet eine Antwort einer Eingabe zu. Eine Eindeutigkeitsbedingung beim nachgelagerten Schreiben verhindert, dass zwei akzeptierte Antworten zwei Kundenbenachrichtigungen auslösen. Beides garantiert keine exakt einmalige Inferenz.

Die Datenspur: Routing-Regeln und gespeicherte Artefakte sind getrennt

Die Ankündigung nennt eine Speicherung von Eingaben und Ergebnissen für 30 Tage, sofern sie nicht gelöscht werden.^[1] Laut Quickstart lassen sich Batches in Endzuständen löschen; Abrechnungs-, Generierungs- und Audit-Datensätze bleiben bestehen.^[2]

Das ist relevant, weil OpenRouters allgemeine Datenseite aktivierbare Prompt-Protokollierung und separat gespeicherte Anfragemetadaten beschreibt.^[4] Für die Artefakte dieses Ablaufs gilt die spezifische Batch-Regel. Eine allgemeine Datenschutzüberschrift ist der Beginn einer Prüfung, kein vollständiges Speicherverzeichnis.

ZDR-Regeln betreffen zulässige Inferenz-Endpunkte der Anbieter; aktivierte Drittanbieter-Werkzeuge sind nicht automatisch erfasst.^[5] Das Provider-Routing bietet außerdem Zulassungslisten und Datenrichtlinien.^[7] Dokumentieren Sie genehmigte Route und Artefaktverantwortung getrennt. Ein geeigneter Inferenzanbieter beantwortet nicht, wer die Batch-Ausgabe nach ihrer Übernahme in Folgesysteme entfernt.

Ein brauchbares Verzeichnis umfasst vier Einträge: ursprüngliche Anwendungsdaten, übermittelte Nutzlast, zurückgeliefertes Ergebnis und Abrechnungsmetadaten. Ordnen Sie jedem eine verantwortliche Person und eine Aufbewahrungsregel zu. Minimieren Sie Identifikatoren vor dem Versand, speichern Sie nur geschäftlich erforderliche Daten und dokumentieren Sie erfolgreiche Löschungen, ohne eine weitere vollständige Kopie im Debug-Protokoll zu behalten. Unser OpenRouter-Leitfaden zu Datenschutz und Ausweichrouten behandelt die umfassendere Routing-Entscheidung.

Die Kaufentscheidung: Betriebsverfahren statt Rabatte vergleichen

Anthropic bietet ebenfalls eine direkte Message Batches API mit 50% Rabatt.^[8] Das belegt eine Alternative, keine Gleichwertigkeit bei Ergebnisbehandlung, Speicherung oder Leistungsgarantien. Vergleichen Sie bei Aufgaben mit nur einem Anbieter die direkte Integration und den Router anhand gleicher Eingaben und Abnahmekriterien.

Führen Sie einen begrenzten Pilotversuch mit einem eingefrorenen Korpus durch. Halten Sie Prompts, Modellversionen, Ausgabelimits und Qualitätsprüfungen konstant. Messen Sie brauchbare Ergebnisse zum Termin und sämtliche Wiederherstellungskosten. Berücksichtigen Sie den Integrationsaufwand: Eine gemeinsame Route kann wertvoll sein, selbst wenn der beworbene Rabatt anderswo ebenfalls verfügbar ist.

Die unbequeme Wahrheit: Die beste Batch-Aufgabe ist nicht einfach die größte. Es ist diejenige, deren Verzögerung bezahlbar und deren Unsicherheit beherrschbar bleibt. Kaufen Sie den Rabatt erst, nachdem Sie definiert haben, wann ein Geschäftsauftrag wirklich abgeschlossen ist.

Quellen und Referenzen

Primärquellen, geprüft am 22. September 2026. Die verlinkten Quellen sind englisch. Budgetbeispiele und Betriebsverfahren sind Analysen von LLM Rumors.

Zuletzt aktualisiert: 22. September 2026