Synthetische Daten: Die Akzeptanzregel zählt mehr als das Etikett

Kurzfassung: Die Autoren von Self-Instruct prüften 200 generierte Beispiele: 92 % enthielten eine gültige Aufgabenanweisung, aber nur bei 54 % waren sämtliche Felder gültig.^[3] Die Model-Collapse-Arbeit in Nature vom Juli 2024 und separate Forschung zum Ansammeln ursprünglicher Daten zeigen, weshalb der Aufbau der Rückkopplung wichtiger ist als eine pauschale Unterscheidung zwischen synthetisch und menschlich.^[1][2] Entscheidend ist ein Beispiel mit bekannter Akzeptanzregel, erhaltener Herkunft und unabhängig geprüftem Nutzen.

Ein generiertes Trainingsbeispiel kann ausgezeichnet aussehen und trotzdem das Falsche vermitteln. Eine klare Anweisung kann zu einer ungeeigneten Eingabe gehören. Eine flüssig formulierte Antwort kann falsch sein. Ein Datensatzzähler verbucht in allen drei Fällen eine zusätzliche Zeile, obwohl sich der Lernwert unterscheidet.

Die unbequeme Wahrheit lautet: Synthetische Daten sind weder automatisch schädlich noch automatisch billig. Ihre Wirtschaftlichkeit hängt davon ab, wie Kandidaten zu akzeptierten Beispielen werden und wie diese Beispiele eine zurückgehaltene Testaufgabe beeinflussen. Diese Analyse vom 9. November 2026 betrachtet Primärforschung, die erstmals zwischen 2022 und 2024 veröffentlicht wurde. Sie behauptet keinen neu entdeckten Zusammenbruch eines eingesetzten Spitzenmodells.

KI-generierte redaktionelle Illustration: Pflanzenkopien verblassen entlang einer Drucklinie, während erhaltene Originale einer Prüfstufe zugeführt werden. Das Motiv veranschaulicht Herkunft und Filterung, keinen gemessenen Modellkollaps und keinen Nachweis, dass Verifikation verlorene Informationen wiederherstellt.

Die Qualitätsprüfung: Gültige Anweisungen sind keine gültigen Beispiele

Das erstmals im Dezember 2022 eingereichte Self-Instruct erzeugt Anweisungen und zugehörige Beispiele, filtert Kandidaten und verwendet das behaltene Material für Instruction-Tuning. Die Autoren ließen 200 ausgewählte Beispiele von einem fachkundigen Annotator manuell prüfen. Sie meldeten 92 % gültige Anweisungen, 79 % geeignete Eingaben, 58 % richtige und akzeptable Ausgaben sowie 54 % Beispiele mit ausschließlich gültigen Feldern.^[3]

Das sind unterschiedliche Prüfungen derselben Stichprobe, keine Stufen eines gemessenen Konversionstrichters. Das Ergebnis schätzt nicht die Fehlerquote aller synthetischen Datensätze. Es veranschaulicht ein Beschaffungsproblem: Eine plausible Aufgabenbeschreibung zu akzeptieren ist eine schwächere Bedingung als die Akzeptanz des vollständigen Trainingsdatensatzes.

Datengrafik

Die Qualitätsprüfung von Self-Instruct nutzte vier unterschiedliche Tests

Von den Autoren gemeldete Anteile aus der Prüfung von 200 ausgewählten Beispielen durch einen Experten, Tabelle 2. Jede Prüfung verwendet die untersuchte Stichprobe als Nenner.

Anweisung beschreibt eine gültige Aufgabe

92 %

Eingabe ist geeignet

79 %

Ausgabe ist richtig und akzeptabel

58 %

Alle Felder sind gültig

54 %

0 %Anteil der geprüften Beispiele100 %

Quelle: Wang et al., Self-Instruct, Tabelle 2. Prüfung von 200 Beispielen durch einen fachkundigen Annotator aus dem Autorenteam; hier werden keine Unsicherheitsintervalle angegeben. Die Qualitätskriterien überlappen. Sie sind keine addierbaren Anteile, kein Trichter und keine branchenweite Schätzung.

Käufer sollten fragen, welche dieser Prüfungen hinter der Qualitätsaussage eines Anbieters steht. Ein Sprachqualitätswert kann für die Lesbarkeit nützlich sein und wenig über sachliche Richtigkeit aussagen. Eine Formatprüfung kann beschädigte Datensätze zurückweisen und eine perfekt formatierte Falschaussage zulassen. Die Bezeichnung der Akzeptanzregel gehört zur Produktspezifikation.

Modellkollaps: Prüfen, was die Schleife ersetzt

Die am 24. Juli 2024 veröffentlichte Nature-Arbeit von Shumailov und seinen Mitautoren untersuchte rekursives Training mit modellgenerierten Daten. Sie beschreibt den Verlust von Randbereichen der Verteilung und unterscheidet unter den analysierten Bedingungen frühen und späten Kollaps.^[1] Dieser Befund verdient Aufmerksamkeit, ohne daraus die Behauptung zu machen, jedes synthetische Beispiel vergifte ein Modell.

Die Studie von Gerstgrasser und seinen Mitautoren vom April 2024 verändert eine zentrale Annahme. Sie vergleicht das Ersetzen von Daten über Generationen hinweg mit dem Ansammeln synthetischer Generationen neben den ursprünglichen realen Daten. In den untersuchten Settings vermeidet das Ansammeln den Kollaps.^[2] Das ist ein Befund über bestimmte Rückkopplungsstrukturen, keine allgemeine Garantie für jede Mischung oder jedes Trainingsbudget.

Die strategische Folgerung ist einfach: Das ursprüngliche Archiv zu bewahren ist eine Fähigkeit. Kann ein Team nicht rekonstruieren, welches Material erhalten, ersetzt oder wiederholt gezogen wurde, kann es den Verlust nützlicher Abdeckung in einem späteren Modell nicht diagnostizieren. Herkunftsnachweise sollten die Generierungslinie und Änderungen der Mischung erfassen, nicht nur ein Synthetik-Kennzeichen pro Zeile.

Positive Beispiele: Das Auswahlziel leistet die Arbeit

Die phi-1-Arbeit vom Juni 2023 kombinierte ausgewähltes Webmaterial mit generierten Lehrbüchern und Übungen.^[4] Das im Mai 2023 vorgestellte TinyStories beschränkte generierte Geschichten bewusst auf eine einfache sprachliche Domäne.^[7] Das sind unterschiedliche Entwürfe zur Gestaltung einer Lernaufgabe. Ihre Existenz macht beliebigen generierten Text nicht mit ihren kuratierten Eingaben austauschbar.

Evol-Instruct, im April 2023 mit WizardLM vorgestellt, schreibt Ausgangsanweisungen vor dem Training in komplexere Anweisungen um.^[8] Dadurch wird Komplexität zu einer steuerbaren Eingangsgröße bei der Datenkonstruktion. Käufer müssen weiterhin prüfen, ob höhere Anweisungskomplexität ihr gewähltes Ergebnis verbessert oder nur schwieriger aussehende Prompts erzeugt.

Deshalb ist oft der Vergleich zwischen Auswahlverfahren entscheidend. Trainingsbudget und Zielevaluation sollten gleich bleiben. Eine Ausgangssammlung wird mit der vorgeschlagenen gefilterten Mischung verglichen. Verworfene Beispiele bleiben, soweit zulässig, zur Prüfung erhalten. Ein Datensatz ist wirtschaftlich belastbar, wenn sein Lieferant den Eingriff erklären kann, der das Lernen verbessert hat, und nicht bloß den größten Generierungszähler zeigt.

Verifikation: Richtige Antworten brauchen trotzdem sinnvolle Abdeckung

Das erstmals im März 2022 veröffentlichte STaR erzeugt Begründungen und trainiert auf denjenigen, die richtige Antworten liefern. Dazu gehört ein erneuter Versuch, bei dem die bekannte richtige Antwort vorgegeben wird.^[5] Das Akzeptanzsignal ist ausdrücklich festgelegt. Daraus folgt nicht, dass die logische Gültigkeit jeder behaltenen Erklärung unabhängig bewiesen wurde.

Ein Prüfer kann außerdem einen Auswahlfehler erzeugen. Akzeptiert er nur leichte Fälle, kann der behaltene Datensatz seine eigene Bestehensquote verbessern und zugleich die Fehler vernachlässigen, deren Lösung Kunden am dringendsten brauchen. Das ist ein betriebliches Risiko, das getestet werden sollte, kein einer einzelnen Arbeit zugeschriebener Zahlenbefund. Akzeptanzquoten sollten nach Aufgabenfamilie und Schwierigkeit ausgewiesen werden. Anschließend wird die Abdeckung anhand von Material bewertet, das weder Generierung noch Filterung verwendet haben.

Auch Webdaten benötigen Kuratierung. Die FineWeb-Forschung vom Juni 2024 dokumentiert und untersucht Entscheidungen zur Filterung und Deduplizierung.^[6] Menschlicher Ursprung allein ist kein Qualitätszertifikat. Entscheidend ist praktisch, ob ein Trainingsbeispiel die für das Lernziel notwendige Abdeckung, Richtigkeit und Vielfalt bietet.

Wirtschaftlichkeit: Belege über die akzeptierte Mischung kaufen

Betrachten wir einen ausdrücklich hypothetischen Einkauf von 100.000 generierten Kandidaten für 1.000 US-Dollar. Erfüllen 50.000 davon eine festgelegte Akzeptanzregel, kostet allein die Generierung 0,02 US-Dollar pro akzeptiertem Beispiel. Weitere 500 US-Dollar für Prüfungen erhöhen diesen Wert auf 0,03 US-Dollar. Die Rechnung setzt eine verlässliche Akzeptanzzahl voraus und schließt Trainings- und Evaluationskosten aus. Sie ist weder ein Preisangebot noch eine gemessene Akzeptanzquote.

Als Nächstes stellt sich die Frage, ob die akzeptierte Sammlung das Zielmodell bei festem Trainingsbudget verbessert. Ein billigerer Datensatz, der doppeltes Verhalten vermittelt, kann weniger wert sein als ein teures Beispiel zu einem hartnäckigen Fehler. Ebenso kann eine höhere Bestehensquote durch eine leichtere Aufgabenmischung den schlechteren Einkauf darstellen.

Ein belastbarer Lieferant verkauft ein reproduzierbares Auswahlverfahren und Belege über das daraus entstehende Modell. Generierung schafft Kandidaten. Bewahrte Realität und glaubwürdige Evaluation entscheiden, welche Kandidaten zu Trainingsdaten werden dürfen.

Quellen und Belege

Zuletzt aktualisiert: 9. November 2026