Titelbild: KI-generierte redaktionelle Illustration von Archivseiten unter einer Lupe und in einer Buchbindeklemme. Das Bild veranschaulicht die Prüfung von Belegen, keine gemessenen Systemabläufe.
Kurzfassung: Ein Suchtreffer, ein belegtes Zitat und eine richtige Antwort sind drei unterschiedliche Abnahmekriterien. In der menschlichen ASQA-Auswertung von ALCE aus dem Jahr 2023 stieg der Citation Recall von ChatGPT mit einfachem Prompting von 74,7 % auf 79,3 % nach der Auswahl aus vier Antworten. Dieser zusätzliche Auswahlaufwand belegte keinen universellen Gewinn bei der Antwortkorrektheit.[2] Die strategische Chance liegt darin, Belege im gesamten Produkt prüfbar zu machen, statt einen Quellenlink als Qualitätssiegel zu behandeln.
Retrieval-Augmented Generation, kurz RAG, lässt sich überzeugend verkaufen: Man gibt einem Sprachmodell die Unternehmensdokumente und macht seine Antworten nützlich. Das ursprüngliche RAG-Paper, erstmals am 22. Mai 2020 veröffentlicht, verband das erlernte Wissen eines Generators mit einem durchsuchbaren Wikipedia-Index. Sein Beitrag war eine Architektur für den Zugriff auf externes Wissen. Eine Garantie für die Wahrheit jedes Satzes lieferte es nicht.[1]
Diese am 9. November 2026 veröffentlichte Analyse betrachtet Forschung aus den Jahren 2020 bis 2024 erneut. Sie verkündet keinen neuen Modellbenchmark. Die wirtschaftlich entscheidende Frage bleibt, woran sich erkennen lässt, ob ein Dokumentenassistent tatsächlich Belege für seine Antwort geliefert hat. Die eigentliche Geschichte ist nicht die Zahl der Dateien in der Vektordatenbank. Entscheidend ist, ob das Produkt einen Bruch in der Belegkette sichtbar macht, bevor jemand nach seiner Antwort handelt.
Warum das jetzt zählt
Dokumentenassistenten dienen zunehmend als Zugang zu betrieblichem Wissen. Eine gefundene Richtlinie kann zur Frage passen und trotzdem veraltet, unvollständig oder für die erzeugte Empfehlung unzureichend sein. Die Auswertung muss den fehlerhaften Schritt erkennen, denn ein anderer Generator behebt nicht jedes Such- oder Belegproblem.
Die Architektur: Externes Wissen ist erst der Anfang
Ein Retriever wählt Material aus; ein Generator formuliert damit eine Antwort. Beide Aufgaben lassen sich getrennt verbessern. REPLUG, erstmals im Januar 2023 veröffentlicht, behandelte das Sprachmodell als eingefrorene Blackbox und trainierte den Abruf anhand von Rückmeldungen aus dessen Vorhersagen. Die wichtige gestalterische Konsequenz ist die Modularität: Bessere Dokumentenauswahl muss kein erneutes Training des gesamten Generators voraussetzen.[4]
RETRO, erstmals im Dezember 2021 veröffentlicht, untersuchte den Abruf aus einer Datenbank mit 2 Billionen Tokens. Die Forschung integrierte externen Speicher in ein trainiertes Sprachmodellierungssystem.[8] Das unterscheidet sich technisch von einer nachträglich an eine Anwendung angeschlossenen Suche. In beiden Fällen bleibt zu klären, welche Dokumente maßgeblich sind, ob der Bestand aktuell ist und was der Nutzer sehen darf.
Für Käufer ist der Index damit eine betriebliche Ressource. Pflege, Zugriffsgrenzen und Versionsgeschichte zählen ebenso wie das Modell. Ein Produkt, das mit heutiger Sprachgewandtheit aus einer gestrigen Richtlinie antwortet, kann verbessert wirken und zugleich unzuverlässiger werden. Der Fehler liegt in der Informationsversorgung, auch wenn die Formulierung grammatisch einwandfrei ist.
Die Messung: Zitierqualität braucht einen eigenen Wert
ALCE bewertete sprachliche Qualität, Korrektheit und Zitierqualität ausdrücklich getrennt. Tabelle 8 verglich menschliche Urteile zu Zitaten auf ASQA. Bei derselben ChatGPT-Familie und Aufgabe stieg der menschlich bewertete Citation Recall nach dem Reranking um 4,6 Prozentpunkte. Das Verfahren erzeugte vier Antwortkandidaten und wählte anhand eines automatischen Citation-Recall-Werts einen davon aus.[2]
Datengrafik
Menschlich bewerteter Citation Recall auf ASQA in ALCE (2023)
Von den Forschern berichtete menschliche Auswertung zweier Auswahlverfahren mit ChatGPT. Citation Recall misst die Abdeckung durch Belege, nicht die gesamte faktische Richtigkeit.
Einfaches Prompting
Auswahl aus vier Antworten
Quelle: Gao et al., ALCE, Tabelle 8. Historische menschlich bewertete ASQA-Stichprobe, keine aktuelle ChatGPT-Leistung. Reranking verursacht zusätzlichen Generierungs- und Auswahlaufwand. Das Paper nennt für diese Differenz kein Konfidenzintervall; die Grafik behauptet keine statistische Signifikanz.
Die Schlussfolgerung für den Einkauf ist enger als eine pauschale Upgrade-Empfehlung. Eine Antwort kann eine passende Quelle nennen und deren Aussage dennoch überdehnen. Eine andere kann richtig sein, ohne ausreichend dokumentarisch belegt zu sein. Muss die Anwendung Entscheidungen gegenüber Kollegen begründen, verursacht auch der zweite Fall Arbeit. Eine Qualitätsvereinbarung sollte festlegen, welcher Fehler zählt, wer ihn prüft und wie das Produkt darauf reagiert.
Die Steuerung: Abruf darf scheitern
Corrective RAG, erstmals im Januar 2024 veröffentlicht, führte eine Bewertung der gefundenen Belege ein. Je nach Qualität löste sie unterschiedliche Abrufaktionen aus, einschließlich einer Websuche. Das Paper testete vier Datensätze.[3] Sein strategischer Beitrag ist die ausdrückliche Verzweigung: Gefundene Dokumente verpflichten das System nicht dazu, so weiterzuarbeiten, als reichten die Belege aus.
Self-RAG, im Oktober 2023 veröffentlicht, trainierte Modelle darauf, bei Bedarf Informationen abzurufen und mithilfe spezieller Reflexionstokens sowohl Belege als auch erzeugten Text zu prüfen.[5] Das ist ein erlernter Steuerungsmechanismus mit eigenen Trainingsanforderungen und Grenzen. Man sollte ihn nicht mit einem beliebigen Prompt gleichsetzen, dem lediglich „Prüfe deine Antwort“ angehängt wurde.
Ein praktisches Produkt kann ähnliche Wahlmöglichkeiten sichtbar machen, ohne die Nachbildung eines dieser Forschungssysteme zu behaupten. Es kann präziser nachfragen, die Suche eingrenzen, widersprüchliche Dokumentversionen benennen oder eine durch den Bestand nicht belegbare Aussage ablehnen. Diese Schritte sollten erkennbar sein. Mit schwachen Belegen stillschweigend fortzufahren verbraucht das Vertrauen der Leser, um den Anschein eines abgeschlossenen Vorgangs zu wahren.
Der Betrieb: Die Schritte getrennt prüfen
Ragas strukturierte die Auswertung nach relevantem Kontext, quellentreuer Verwendung dieses Kontexts und Antwortqualität.[6] Daraus ergibt sich eine brauchbare Prüfreihenfolge. Zuerst ist zu untersuchen, ob die ausgewählten Passagen die nötigen Informationen enthalten. Dann, ob die Antwort aus diesen Passagen folgt. Schließlich, ob sie die tatsächliche Frage beantwortet. Eine bestandene Prüfung ersetzt die anderen nicht.
ARES verband trainierte Bewerter mit einer kleineren Menge menschlich annotierter Daten für Prediction-Powered Inference. Das sollte eine nützliche Systembewertung ermöglichen und Fehler der Bewerter abfedern.[7] Für das Prüfbudget folgt daraus eine konkrete Entscheidung: Wiederholte Prüfungen automatisieren, aber sorgfältig geprüfte Beispiele zur Kalibrierung behalten. Ein automatischer Wert ist ein Indiz über das System, keine eigenständige Wahrheitsquelle.
Ein versionierter Testsatz sollte beantwortbare Fragen, fehlende Informationen, widersprüchliche Fassungen und Anfragen außerhalb der Nutzerberechtigungen enthalten. Dokumentrevision, ausgewählte Passage und Antwort gehören gemeinsam ins Protokoll. Prüfer müssen die Stelle finden können, an der die Belege die Antwort nicht mehr tragen. So wird aus einer undurchsichtigen Beschwerde eine bearbeitbare technische Entscheidung.
Der Geschäftsfall: Für überprüfbare Entscheidungen bezahlen
Ein Dokumentenassistent rechtfertigt sich, wenn er die gesamten Kosten einer belastbaren Antwort senkt. Tokenverbrauch, Abrufgebühren, menschliche Prüfung, Korrekturen und ungeklärte Fragen gehören gemeinsam in diese Rechnung. Eine niedrigere Modellrechnung kann mit höheren Betriebskosten einhergehen, wenn Nutzer ständig Originale erneut öffnen und unbelegte Aussagen reparieren müssen.
Das heißt nicht, dass jede Antwort am Arbeitsplatz eine aufwendige Prüfspur braucht. Der Maßstab sollte der Entscheidung folgen. Eine Navigationsantwort kann auf ein Dokument verweisen; eine Empfehlung zu einer vertraglichen Verpflichtung braucht die genaue Passage, die maßgebliche Version und klare Grenzen. Die Oberfläche sollte zeigen, welche Art von Antwort der Leser erhalten hat.
Ein Zitat behauptet einen Belegzusammenhang
Ein Quellenlink belegt, dass ein Ziel existiert. Er belegt weder, dass dieses Ziel den Satz stützt, noch dass die Quelle maßgeblich oder eine Empfehlung richtig ist. Diese Eigenschaften müssen ausdrücklich geprüft werden, bevor dokumentarische Belege als Absicherung präsentiert werden.
Die stärksten RAG-Unternehmen werden Belege leichter prüfbar machen und die Kosten der Fehlerbehebung senken. Ihr Vorteil liegt im gepflegten Wissensbestand, im Prüfverfahren und darin, dass Leser eine Schlussfolgerung nachvollziehen können. Die Suche findet das Material. Das Produkt muss sich die Antwort weiterhin verdienen.
Quellen: Forschung und Prüfverfahren
Zum Lesen aller Spalten seitlich scrollen.
| Nr. | Quelle | Erstveröffentlichung | Bedeutung |
|---|---|---|---|
| [1] | Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · Lewis et al. | 2020-05-22 | Verbindet parametrische Generierung mit abrufbarem externem Wissen. |
| [2] | Enabling Large Language Models to Generate Text with Citations · Gao et al. | 2023-05-24 | ALCE trennt Korrektheit von Zitierqualität; Tabelle 8 liefert die Grafik. |
| [3] | Corrective Retrieval Augmented Generation · Yan et al. | 2024-01-29 | Bewertet gefundene Belege und passt den Abrufweg an. |
| [4] | REPLUG: Retrieval-Augmented Black-Box Language Models · Shi et al. | 2023-01-30 | Ein eingefrorenes Sprachmodell kann einen lernfähigen Retriever anleiten. |
| [5] | Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection · Asai et al. | 2023-10-17 | Lernt, wann Abruf nötig ist und wie Belegpassagen zu prüfen sind. |
| [6] | Ragas: Automated Evaluation of Retrieval Augmented Generation · Es et al. | 2023-09-26 | Trennt Kontextrelevanz, Quellentreue und Antwortqualität. |
| [7] | ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems · Saad-Falcon et al. | 2023-11-16 | Verbindet trainierte Bewerter mit menschlich annotierten Beispielen. |
| [8] | Improving language models by retrieving from trillions of tokens · Borgeaud et al. | 2021-12-08 | RETRO untersucht externen Speicher beim Training und bei der Inferenz. |
Zuletzt aktualisiert: 9. November 2026
