Prompt-Caching macht wiederholten Kontext zur Margenentscheidung

KI-generierte redaktionelle Illustration: Eine Druckpresse verwendet Druckplatten neben einem Setzkasten erneut. Das Motiv veranschaulicht die Wiederverwendung von Prompts und zeigt keine Messung eines Inferenzsystems.

Kurzfassung: Bei einer ausdrücklich gewählten Cache-Regel mit dem Faktor 1,25 für das Schreiben und 0,1 für das Lesen kosten zehn identische Präfixe 2,15 Einheiten des Eingabepreises, wenn der erste Aufruf schreibt und die nächsten neun treffen, gegenüber 10 Einheiten ohne Caching.^[1] Die errechnete Senkung um 78,5 % betrifft das wiederholte Präfix, nicht die gesamte Anwendungsrechnung. Der strategische Vorteil liegt in einer Arbeitslast, die stabilen Kontext vor Ablauf des Caches erneut nutzt.

Auf den Preislisten der KI-Branche fehlt eine Variable, die Produktteams selbst kontrollieren: wie oft sie für die Verarbeitung derselben Informationen bezahlen. Ein Support-Agent liest möglicherweise bei jedem Kunden dasselbe Handbuch erneut. Ein Programmierassistent verarbeitet wiederholt seine Werkzeugdefinitionen. Ein Recherche-Arbeitsbereich beantwortet verschiedene Fragen zu einem unveränderten Bericht. Hinter unterschiedlichen Produkten steckt dieselbe ökonomische Chance.

Dies ist eine Analyse vom 9. November 2026 zu einer etablierten Systemidee, keine neue Produkteinführung. Prompt Cache wurde erstmals am 7. November 2023 eingereicht, SGLang folgte am 12. Dezember 2023. Beide Arbeiten untersuchten die Wiederverwendung von Attention-Zuständen, bevor Caching zu einer vertrauten Abrechnungskategorie bei APIs wurde.^[2][3] Ihre bleibende architektonische Erkenntnis: Wiederkehrender Kontext lässt sich als wiederverwendbarer Rechenbestand behandeln.

Der Mechanismus: Rechenarbeit vor der Antwort wiederverwenden

Ein Prompt-Cache speichert zwischenliegende Attention-Zustände wiederverwendbarer Eingaben. Er hält keine fertige Antwort vor, die jeder Nutzer erhält. Unterschiedliche Fragen können dasselbe Dokumentpräfix nutzen und trotzdem unterschiedliche Ausgaben erfordern. Das Forschungsdesign von Prompt Cache verwendete ausdrücklich definierte wiederverwendbare Module. SGLangs RadixAttention verwaltete wiederverwendbare KV-Zustände in einer Laufzeitumgebung.^[2][3] Das sind verwandte Ansätze, keine austauschbaren Implementierungsgarantien.

Diese Unterscheidung hat wirtschaftliche Folgen. Ein Antwort-Cache setzt auf identische Antworten, ein Präfix-Cache auf identische Vorarbeit. Letzterer kann unterschiedliche Fragen zu gemeinsamen Informationen unterstützen. Neue Eingaben hinter dem Präfix und die erzeugte Ausgabe bleiben kostenpflichtig. Ein Anbieterrabatt vergütet somit die Vermeidung eines Teils der Arbeit. Er belegt keine entsprechende Kostensenkung für die gesamte Anfrage.

Die am 12. September 2023 eingereichte PagedAttention-Arbeit behandelte verschwendeten Speicher bei der Zuweisung und die gemeinsame Nutzung von KV-Zuständen im Serving.^[4] Bessere Speicherzuweisung und Wiederverwendung zwischen Anfragen lösen unterschiedliche Probleme. Ein größerer Beschleuniger schafft beides nicht automatisch. Die Software muss wiederverwendbare Zustände erkennen und genügend davon verfügbar halten.

Die Rechnung: Ein Rabatt braucht genügend Treffer

Eine explizite Regel macht die Rechnung überprüfbar. Die für diese Analyse geprüfte Anthropic-Dokumentation nennt als Standard die Faktoren 1,25 für Cache-Schreibzugriffe mit fünf Minuten Lebensdauer und 0,1 für Lesezugriffe. Daneben gibt es modellspezifische Ausnahmen beim Lesepreis.^[1] Die Grafik verwendet die Standardregel. Sie ist weder ein Preisangebot für jedes Claude-Modell noch ein aktuelles Dollarangebot oder ein Vergleich mit anderen Anbietern.

Ein vollständig ungecachtes Präfix kostet eine Einheit. Für zehn gleich große Präfixe, bei denen jeder Fehltreffer einen Cache-Eintrag anlegt, gilt: 1,25 × Schreibzugriffe + 0,1 × Lesezugriffe. Neue Suffix-Token und Ausgaben bleiben außen vor. Fünf Schreib- und fünf Lesezugriffe kosten 6,75 Einheiten. Ein Schreib- und neun Lesezugriffe kosten 2,15 Einheiten. Zehn Schreibzugriffe ohne Lesezugriff kosten 12,5 Einheiten, also 25 % mehr als ohne Caching.

Berechnetes Kostenszenario

Zehn gleich große Präfixe: Eingabekosten nach einer festgelegten Regel

Jedes ungecachte Präfix kostet 1 Einheit. Jeder Fehltreffer schreibt für 1,25 Einheiten; jeder Treffer liest für 0,1 Einheiten. Alle Präfixe haben gleich viele Token.

Vergleich ohne Caching

10 Einheiten

10 Schreib-, 0 Lesezugriffe

12,5 Einheiten

5 Schreib-, 5 Lesezugriffe

6,75 Einheiten

1 Schreib-, 9 Lesezugriffe

2,15 Einheiten

0Normierte Präfix-Eingabekosten12,5 Einheiten

Berechnung von LLM Rumors mit Anthropics dokumentierten Standardfaktoren 1,25 beim Schreiben und 0,1 beim Lesen, abgerufen am 9. November 2026 [1]. Nur die gewählte Regel; modellspezifische Ausnahmen gelten. Ohne Ausgaben, wechselnde Suffixe, Speicher, Steuern, Plattformaufschläge und Wiederholungen. Keine gemessenen Anwendungsausgaben.

Für den tokengewichteten Trefferanteil h dieser gleich großen geeigneten Präfixe betragen die durchschnittlichen Kosten 1,25 − 1,15h Einheiten. Die Kostengleichheit liegt bei h = 5/23, auf vier Nachkommastellen gerundet bei 21,7391 %. Ein Schreibzugriff mit anschließendem Lesezugriff kostet bereits 1,35 statt 2 Einheiten. Das setzt voraus, dass der Eintrag erhalten bleibt, jeder Treffer die Bedingungen erfüllt und keine zusätzlichen Gebühren außerhalb der vereinfachten Präfixrechnung entstehen.

Das Produktdesign: Stabiler Kontext ist eine wirtschaftliche Ressource

Die eigentliche Geschichte ist nicht der Rabatt in Prozent. Die Organisation eines Prompts wird zur finanziellen Entscheidung. Wiederverwendbare Anweisungen, stabile Schemata und geeignete gemeinsame Dokumente gehören vor wechselnde Anfragedetails. Ein Zeitstempel vor dem wiederverwendbaren Präfix kann Arbeit, die für einen Menschen gleich aussieht, an der maschinellen Vergleichsgrenze unterschiedlich machen.

Die gewählte API-Dokumentation verlangt bis zur Cache-Grenze eine exakte Übereinstimmung und beschreibt die Trennung zwischen Organisationen. Das Verhalten auf Arbeitsbereichsebene hängt von der Plattform ab.^[1] Ein Produkt sollte deshalb zuerst rechtmäßige Zugriffsgrenzen ziehen und anschließend innerhalb dieser Grenzen die Wiederverwendung optimieren. Eine höhere Trefferquote rechtfertigt nicht, vertraulichen Kundenkontext für einen anderen Kunden zu verwenden.

Die Dokumentation zum automatischen Präfix-Caching in vLLM beschreibt Wiederverwendung bei gemeinsamen Anfragepräfixen.^[7] Beim Eigenbetrieb entsteht der Nutzen durch vermiedene Verarbeitung und freie Kapazität, nicht durch einen API-Rechnungsrabatt. Bei einer gehosteten API entscheidet der Vertrag des Anbieters. Ähnliche Rechenarbeit bedeutet nicht dieselbe Wirtschaftlichkeit für Kunden.

Die Infrastruktur: Jeder Treffer hat einen Ort

Was oft übersehen wird: Ein Cache-Eintrag kann an einem Ort liegen, dessen Zugriff teuer ist. CacheGen, erstmals am 11. Oktober 2023 eingereicht, untersuchte Kompression und Übertragung von KV-Zuständen, weil deren Transport über das Netzwerk selbst das Laden des Kontexts verzögern kann.^[5] Vermiedene Berechnung lohnt sich nur, wenn Abruf und Wiederherstellung weniger kosten als die eingesparte Arbeit.

SGLangs HiCache-Dokumentation zeigt die Hierarchie konkret: GPU-Speicher, Hauptspeicher und Speicher-Backend haben unterschiedliche Geltungsbereiche und Transportkosten. Der lokale Hauptspeicher-Cache gehört einer Instanz; instanzübergreifende Wiederverwendung hängt von der konfigurierten Speicherebene ab.^[8] Für die Steuerung folgt daraus: Eine einzige undifferenzierte Trefferquote kann schnelle lokale Treffer und langsamere entfernte Wiederherstellung unter derselben Kennzahl verbergen.

DistServe, erstmals am 18. Januar 2024 eingereicht, trennte die Ressourcenplanung für Prefill und Dekodierung anhand ihrer unterschiedlichen Latenzanforderungen.^[6] Daraus folgt eine Messdisziplin, keine Geschwindigkeitsrangliste: Zeit bis zum ersten Token, Ausgabegenerierung und Gesamtdauer getrennt erfassen. Dieser Artikel vergleicht keine Durchsatzangaben dieser Arbeiten, weil Systeme und Arbeitslasten voneinander abweichen.

Die Marge: Die abgeschlossene Aufgabe messen

Eine Einsparung bei Präfix-Eingaben ist noch kein Ergebnis zur Bruttomarge. Enthält eine beispielhafte Rechnung 4 US-Dollar für wiederverwendbare Präfixe und 6 US-Dollar für alle übrigen unveränderten Kosten, senkt eine Reduzierung der Eingabekomponente um 90 % den Gesamtbetrag auf 6,40 US-Dollar. Das sind 36 % weniger. Diese Dollarbeträge sind ein Rechenbeispiel, kein Anbieterpreis und keine beobachtete Kundenrechnung. Verbrauchen zusätzliche Wiederholungen oder längere Ausgaben die Einsparung, wurde nur eine Zwischengröße optimiert.

Die Betriebsübersicht braucht geeignete Präfix-Token, Cache-Schreib- und Lesezugriffe, ungecachte Eingaben, Ausgabekosten, das Alter der Einträge und den Anteil abgeschlossener Aufgaben. Gleiche Aufgaben vor und nach der Änderung vergleichen. Modellversion, Prompt-Zusammensetzung, Ausgabelängen, Parallelität, Latenzverteilung und Routing-Regeln protokollieren, damit eine veränderte Arbeitslast nicht als Cache-Verbesserung erscheint. Cache-Abrechnung und gesamtes Eingabevolumen müssen unterscheidbar bleiben.

Der kluge Kern wiederverwendbaren Kontexts liegt darin, dass dasselbe Handbuch oder Werkzeugschema mehr nützliche Arbeit ermöglicht, bevor das System erneut für seine Verarbeitung bezahlt. Ein dauerhafter Vorteil entsteht durch Produkte, die Wiederholung bewusst, messbar und sicher gestalten. Günstige Eingaben sind ein Preis. Wiederverwendbare Arbeit ist eine Fähigkeit des Produktdesigns.

Quellen und Referenzen

Zuletzt aktualisiert: 9. November 2026