Eine fehlende Zahl fällt auf. Eine falsche nicht.
Aus dieser einen Schieflage folgt alles Weitere. Dokumente mit einem Sprachmodell auszulesen ist etwas anderes, als mit einem Sprachmodell Text zu schreiben. Wenn ein Modell einen Absatz erfindet, merkt das beim Lesen meist jemand. Wenn es aus 349.000 die Zahl 340.000 macht, steht dort eine plausible Zahl, im richtigen Feld, im richtigen Format, und niemand hat einen Anlass, sie nachzuschlagen.
Extraktions-Projekte scheitern selten laut. Sie scheitern leise, an der dritten Stelle, ein halbes Jahr nach dem Start.
Eine falsche Zahl kostet mehr als eine fehlende#
Ein leeres Feld ist eine Unterbrechung. Jemand sieht die Lücke, öffnet die Quelle, trägt nach. Der Preis ist eine Minute Aufmerksamkeit, und das System bleibt vertrauenswürdig.
Ein falsches Feld ist eine Entscheidung. Es wird weitergereicht, in ein Angebot übernommen, in eine Summe eingerechnet. Bis es jemandem auffällt, steht es an drei weiteren Stellen, und die Frage ist nicht mehr, welche Zahl stimmt, sondern welche der vier Fassungen im Umlauf aus dem Original stammt.
Das dreht die übliche Erwartung um. Beim Auslesen ist Vollständigkeit das billige Ziel und Richtigkeit das teure. Ein System, das acht Prozent der Felder leer lässt und beim Rest stimmt, ist mehr wert als eines, das alles füllt und bei zwei Prozent still danebenliegt.
Warum gerade Zahlen der heikelste Fall sind#
Je nach Modell und Tokenizer wird eine mehrstellige Zahl nicht als ein einziger, unteilbarer Wert verarbeitet, sondern in mehrere Einheiten zerlegt, die nicht zwangsläufig dem Wert entsprechen, den ein Mensch darin sieht. Die Arbeiten zur Zählfähigkeit und Tokenisierung beschreiben genau diesen Bruch zwischen der Einheit, die gemeint ist, und der, die tatsächlich verarbeitet wird.
Dazu kommt ein Befund zur Zahlen-Repräsentation. Untersuchungen zeigen, dass Zahlen in Sprachmodellen ziffernweise kodiert werden, zur Basis 10, und dass Fehler entsprechend ziffernweise auftreten: Die falsche Vorhersage liegt in der Zeichen-Editierdistanz nah an der richtigen und im Wert weit von ihr entfernt.
Diese Arbeiten untersuchen Rechnen und Zählen, nicht das Abschreiben aus einem Dokument. Sie beweisen also nicht, dass jeder Extraktionsfehler auf diesem Weg entsteht. Für die Vorsicht, um die es hier geht, reichen sie trotzdem: Ein Fehler an einer Zahl muss nicht nach Fehler aussehen. Aus 349.000 werden 340.000. Aus 132 Quadratmetern werden 138. Das sieht aus wie ein Tippfehler und wirkt wie neuntausend Euro.
Ein gültiges Zahlenformat ist eben noch keine wortgetreue Übernahme. Deshalb halte ich „das Modell liest das Dokument“ nicht mehr für eine tragfähige Architektur, sondern für eine Annahme, die man absichern muss.
Ein gültiges Schema ist keine Zusage über den Inhalt#
Die übliche Antwort auf all das heißt strukturierte Ausgabe. Ein gutes Werkzeug, das ein anderes Problem löst als das, für das es genommen wird.
OpenAIs eigene Dokumentation ist an dieser Stelle präzise: Die Antwort hält das übergebene Schema ein, kein fehlender Pflichtwert, kein ungültiger Aufzählungswert. Ebenso klar benennt sie die Grenze, nämlich dass strukturierte Ausgaben weiterhin Fehler enthalten können und dass Eingaben, die zum Schema nicht passen, weiterhin Halluzinationen erzeugen.
Ein Schema sichert also zu, dass ein Feld namens Preis existiert und eine Zahl enthält. Über die Frage, ob diese Zahl im Dokument steht, sagt es nichts. Formtreue liest sich trotzdem wie Richtigkeit, weil das Ergebnis aussieht wie eine Datenbankzeile, und genau das macht sie gefährlich. Je aufgeräumter die Form, desto weniger fragt jemand nach dem Inhalt.
Die Quelle wird vor dem Modell festgelegt#
Die erste der fünf Schichten ist eine Regel über Eingaben, nicht über Anweisungen: Das Modell bekommt keine blanke Adresse, sondern den Text, der vorher außerhalb geholt und festgehalten wurde.
Eine Adresse ist kein Beleg dafür, welcher Inhalt tatsächlich verarbeitet wurde. Seiten ändern sich, ein Abruf kann fehlschlagen, und ohne festgehaltene Fassung lässt sich hinterher nicht mehr sagen, was zum Zeitpunkt der Extraktion dort stand. Wird das Dokument vorher geholt, gespeichert und als feststehender Rohtext übergeben, ist genau eine Fassung im Spiel.
Das ist kein Sicherheitsdetail am Rand. Alles Nachgelagerte, jede Prüfung und jede Fundstelle, hängt daran, dass es genau ein Dokument gibt und dass es später noch da ist.
Zahlen zuerst, und zwar ohne Modell#
Die zweite Schicht ist die, die diesem Beitrag den Titel gibt. Preise, Flächen, Zimmerzahlen, Daten und Kennungen werden zuerst ohne Modell aus dem Quelltext geholt, nach Muster, als Kandidaten. Das Modell bekommt danach den Text und diese Kandidaten, und seine Aufgabe ist die Zuordnung: welche Zahl zu welchem Feld gehört, was die Beschreibung sagt, wie die Teile zusammenhängen. Den Wert selbst darf es nicht neu erzeugen.
Wie verlässlich der erste Schritt ist, hängt am Dokument. Bei sauberem HTML oder einem PDF mit eingebettetem Text ist er sehr verlässlich. Bei einem Scan beginnt die Unsicherheit schon bei der Texterkennung, und Tabellen, verschiedene Dezimaltrennzeichen, Währungen und über Zeilenumbrüche zerrissene Zahlen machen es nicht leichter. Deterministisch heißt hier nachvollziehbar, nicht automatisch richtig.
Die Teilung folgt trotzdem den Stärken. Ein Sprachmodell hilft gut bei der Entscheidung, ob eine Zahl die Grundstücksgröße meint oder die Wohnfläche, denn das ist eine Frage an die Sprache. Beim unveränderten Tragen von elf Ziffern durch einen langen Kontext ist es die schwächere Wahl, denn das ist eine Frage des Abschreibens. Auch die Zuordnung bleibt prüfpflichtig, sie ist nur die Aufgabe, bei der das Modell tatsächlich hilft.
Der Prüfer darf nicht der Autor sein#
Die dritte Schicht ist eine Prüfung, die das Ergebnis gegen den Rohtext liest, und entscheidend ist, dass sie nicht im selben Entstehungszusammenhang stattfindet. Kein „prüf das jetzt nochmal“ am Ende derselben Unterhaltung. Der zweite Durchgang bekommt den Rohtext, das Ergebnis und feste Prüfkriterien, und bei kritischen Feldern läuft der Abgleich zusätzlich mechanisch.
Warum diese Trennung nötig ist, zeigt Large Language Models Cannot Self-Correct Reasoning Yet, vorgestellt auf der ICLR 2024. Eine Gruppe von Google DeepMind und der University of Illinois hat dort die intrinsische Selbstkorrektur untersucht, also den Fall, dass ein Modell die eigene Antwort ohne Rückmeldung von außen überarbeitet. Die Modelle taten sich schwer damit, und in einem Teil der Fälle wurde das Ergebnis nach dem Korrekturschritt schlechter.
Der Befund gilt für genau diesen Fall, und darin liegt die brauchbare Lehre. Ein Modell, das gerade eine Antwort erzeugt hat, hat sie erzeugt, weil es sie für richtig hielt; es aus derselben Unterhaltung heraus um ein Urteil darüber zu bitten, heißt, es um Widerspruch gegen sich selbst zu bitten. Bekommt es dagegen den Quelltext und eine konkrete Behauptung zum Abgleich, ist es nicht mehr derselbe Fall.
Was fehlt, ist also nicht zwingend ein anderes Modell, sondern Rückmeldung von außen. Beim Auslesen ist die geschenkt: Der Quelltext liegt daneben.
Jedes Feld nennt seine Fundstelle#
Die vierte Schicht ist eine kleine Anforderung mit großer Wirkung. Jedes ausgelesene Feld bringt die Stelle mit, aus der es stammt.
Damit hört die Prüfung auf, eine Ermessensfrage zu sein. Entweder die genannte Stelle trägt den Wert oder nicht, und dieser Abgleich ist mechanisch und billig. Das folgt schon aus dem Aufbau und braucht keine Studie als Beleg; Arbeiten zur zitier-gebundenen Extraktion gehen denselben Weg, weil die Prüfung dann direkt gegen das Dokument läuft statt gegen eine weitere abgeleitete Datenbank.
Eine Sache muss man dabei mitdenken, sonst trägt die Schicht nur halb. Der wörtliche Abgleich funktioniert, solange der gespeicherte Wert genau so im Dokument steht. Sobald normalisiert wird, stimmt das nicht mehr: Aus „349.000 €“ wird 349000, aus „01.03.2026“ wird 2026-03-01. Deshalb gehören zu jedem Feld beide Fassungen, der Rohwert wie er dasteht und der gespeicherte Wert, dazu die Angabe, was dazwischen passiert ist. Sonst prüft man die Umrechnung mit und weiß im Fehlerfall nicht, welcher der beiden Schritte danebenlag.
Der mittelbare Nutzen ist größer als der unmittelbare. Ein Feld, das seine Quelle nicht nennen kann, ist nicht bloß schwächer belegt, sondern eine andere Kategorie. Es ist eine Vermutung. Sobald der Beleg Pflicht ist, werden Vermutungen sichtbar, statt in derselben Tabelle zu verschwinden wie alles andere, und dann kann man entscheiden, was mit ihnen geschieht.
Die letzte Schicht kommt aus der Sache selbst#
Die fünfte Schicht hat mit Sprachmodellen nichts mehr zu tun. Sie ist Fachrechnen: Preis gegen Fläche, Zimmer gegen Fläche, Baujahr gegen einen plausiblen Bereich. Was herausfällt, wird markiert, nicht gelöscht.
Sie fängt den Rest, und sie ist die einzige Schicht, die auch einen Wert fängt, der tatsächlich im Dokument steht und dort falsch ist, weil sich die Quelle vertippt hat. Gegen eine Quelle, die irrt, hilft keine Bindung an den Beleg. Plausibilität hilft.
Wo die Grenze verläuft#
Nichts davon spricht dagegen, Modelle an Daten zu lassen. Es spricht für eine Arbeitsteilung, und die Grenze ist real.
Dem Modell gehört der Wert, wenn der Wert Sprache ist: eine Einordnung, eine Zusammenfassung, ein Ja oder Nein zu der Frage, ob im Text ein Garten vorkommt. Nicht überlassen würde ich ihm Werte, die ein Mensch auf einem Kontoauszug nachrechnen würde. Wenn jemand vernünftigerweise fragen könnte „woher kommt diese Zahl“, braucht die Zahl einen nachvollziehbaren Weg und einen Beleg.
Der ehrliche Preis dieses Wegs ist, dass er länger dauert als eine Anweisung mit Schema und sich schlechter vorführen lässt. Es gibt keinen Moment, in dem man eine Adresse einfügt und eine saubere Tabelle erscheint. Stattdessen gibt es eine Strecke mit einer langweiligen Musterprüfung in der Mitte. Die Vorführung ist der Moment zwei Monate später, wenn jemand fragt, woher eine Zahl stammt, und die Antwort vier Sekunden dauert.
Von allen möglichen Kürzungen wäre eine besonders gefährlich: den unabhängigen Prüfer wegzulassen. Er ist die Schicht, die am überflüssigsten aussieht, solange alles gut geht, und die, die genau das fängt, woran keiner gedacht hat.
Ein System, das seine Quellen zeigen kann, ist keine sorgfältigere Fassung eines Systems, das es nicht kann. Es ist ein anderes Produkt, und es ist das einzige, das ich an die Daten eines Kunden lassen würde.
