So bauen Sie eine zuverlässige Pipeline für Dokumentenannahme und OCR auf

Mit einem Eingabevertrag beginnen

Eine Dokumentenpipeline wird schwierig zu handhaben, wenn der erste Schritt alles akzeptiert und der letzte Schritt davon ausgeht, dass alles verstanden wurde. Definieren Sie den Eingabevertrag, bevor Sie Robots auswählen: welche Quellen zulässig sind, was die Anwendung als Dokument bezeichnet, welche Metadaten erforderlich sind, wie groß ein Upload sein darf und welche Ausgaben nachgelagerte Systeme erwarten. Setzen Sie in der Anwendung eine Obergrenze für die Seitenzahl durch, bevor Sie die Assembly erstellen; das folgende Beispiel begrenzt die Seitenzahl nicht. Große oder seitenreiche PDFs können das feste Polling-Zeitfenster des Robots überschreiten, während dieser auf einen asynchronen Auftrag beim Anbieter wartet, selbst wenn der Auftrag später abgeschlossen wird. Ein erneuter Versuch mit unveränderter Eingabe verlängert dieses Zeitfenster nicht; behandeln Sie wiederholte Zeitüberschreitungen als Fehler. Verkleinern Sie vor einem weiteren Versuch die Eingabe oder teilen Sie sie auf.

Bewahren Sie das hochgeladene Original als unveränderliche Referenz auf. Ein normalisiertes PDF, eine OCR-Textdatei und ein Suchdatensatz sind Derivate mit unterschiedlichen Lebensdauern und Fehlerbildern. Weisen Sie ihnen eine gemeinsame Identität in der Anwendung zu, damit eine prüfende Person von einem Suchtreffer zu den Quellbytes gelangen kann, aus denen er entstanden ist. Für die seitenspezifische Navigation ist eine separate Seitenzuordnung erforderlich.

Jede Eingabe an den passenden Robot weiterleiten

Eine Dateierweiterung verrät nicht, ob ein PDF auswählbaren Text oder nur gescannte Pixel enthält. Verwenden Sie den von Transloadit ermittelten Wert ${file.mime} und die Richtlinie der Anwendung, um Eingaben weiterzuleiten. Die MIME-Ermittlung kombiniert eingebettete Metadaten, Informationen aus der Dateierweiterung und eine Inhaltserkennung; die Dateierweiterung kann ausschlaggebend sein, wenn eingebettete Metadaten fehlen. Diese Eingangskontrolle ist kein Nachweis für den Dateiinhalt. Wenn Ihr Eingabevertrag eine strenge Inhaltsvalidierung verlangt, validieren Sie die gespeicherten Bytes in Ihrer Anwendung. /file/filter kann Dateien mit Bedingungen für accepts oder declines anhand von ${file.mime} weiterleiten; verwenden Sie error_on_decline, wenn eine nicht unterstützte Eingabe zum Fehlschlagen der Assembly führen soll.

PDFs können direkt an /document/ocr übergeben werden. Verwenden Sie /image/ocr für kurze Texte in Fotos und Screenshots; die Dokumentation weist darauf hin, dass die Erkennung bei dicht beschriebenen Dokumentbildern weniger genau sein kann. Verwenden Sie für Office-Eingaben wie DOCX /document/convert, um sie in PDF zu konvertieren, und prüfen Sie zuerst die dokumentierten Eingabeformate. Dieser Workflow nutzt die PDF-Ausgabe; andere Ausgabeformate sind verfügbar, PDF als Eingabe wird jedoch nicht unterstützt. Ein Robot kann Eingaben, die er nicht akzeptiert, überspringen, ohne dass die Assembly fehlschlägt. Ergänzen Sie daher eine explizite MIME-Eingangskontrolle und überprüfen Sie die erforderlichen Ausgaben.

Herkunftsnachweise bei abgeleiteten Ausgaben bewahren

Text ohne Herkunftsnachweis ist schwer vertrauenswürdig einzuordnen. Speichern Sie die Quelldokument-ID, die Ausgabeversion und den Extraktionszeitpunkt zusammen mit dem extrahierten Text. Das folgende AWS-Beispiel gibt JSON auf Dokumentebene ohne Seitenzuordnung zurück. Für seitenspezifische Suchtreffer muss die Anwendung PDFs vor dem Upload aufteilen und die ursprünglichen Seitenzahlen erfassen; diese Vorbereitung liegt außerhalb des Leitfadens. Das Beispiel erlaubt eine Eingabe pro Assembly und verwendet feste Objektnamen. Eine Seitenpipeline benötigt eine Assembly pro Seite mit seitenspezifischen Objektschlüsseln und einer Zuordnung zum übergeordneten Dokument. Werden dieselben Werte für document_id und output_version für mehrere Seiten wiederverwendet, werden deren Objekte überschrieben. Leiten Sie die Zuordnung niemals aus der Reihenfolge im OCR-Array ab. Wenn die Quelle ersetzt wird, erstellen Sie eine neue Version und lassen Sie den Indexer den alten Datensatz erst außer Betrieb nehmen, nachdem die neue Ausgabe überprüft wurde.

Halten Sie OCR-Text und normalisiertes Dokument getrennt. Eine prüfende Person muss möglicherweise den Originalscan, die konvertierte PDF-Datei und den extrahierten Text direkt miteinander vergleichen. Dieser Zusammenhang ist auch dann nützlich, wenn ein anderer OCR-Anbieter ein besseres Ergebnis liefert.

Prüfung und Indexierung explizit festlegen

Der durch Polling oder Benachrichtigungen im Assembly Status erfasste Wert ASSEMBLY_COMPLETED für ok bedeutet, dass kein nicht ignorierter Fehler die Assembly gestoppt hat und ihre deklarierten Aufgaben einschließlich der Speicheraufgaben abgeschlossen sind. Ein Step kann eine Eingabe überspringen, und ignore_errors kann das Fehlschlagen eines Steps unterdrücken. Der Abschluss allein beweist daher nicht, dass die erforderlichen Artefakte vorhanden sind. Er bedeutet auch nicht, dass der Suchindex Ihrer Anwendung den Text angenommen oder ein Mensch einen sensiblen Datensatz freigegeben hat. Veröffentlichen Sie ein nachgelagertes Ereignis erst, wenn die von Ihnen benötigten Ausgaben vorhanden sind und ihre Prüfungen bestanden haben.

/document/ocr stellt keine Konfidenz-Scores bereit, daher kann dieses Template die Weiterleitung nicht anhand eines Konfidenzschwellenwerts des Anbieters steuern. Nutzen Sie automatisierte Prüfungen in der Anwendung, um bei fehlenden Ausgabedateien, leerem extrahiertem Text, unplausibel wenig Text im Verhältnis zur gemeldeten Seitenzahl, fehlenden erwarteten Formulierungen oder einer Dokumentklasse mit hoher Tragweite eine Prüfung durch Menschen auszulösen. Bei gewöhnlichen Dokumenten kann ein automatisierter Verarbeitungspfad dennoch die Prüfungen protokollieren und eine Möglichkeit zur erneuten Verarbeitung der Quelle offenhalten.

Korrekturen versionieren, ohne Nachweise zu verlieren

OCR-Korrekturen und das Ersetzen der Quelle sollten eine neue Version des Derivats erzeugen. Bewahren Sie die vorherige Quelle, Ausgabe und Prüfentscheidung gemäß Ihrer Aufbewahrungsrichtlinie lange genug auf, damit ein Indexergebnis nach einer Korrektur nachvollziehbar bleibt.

Verwenden Sie die Dokument-ID und die Ausgabeversion als Indexierungsschlüssel. Verwenden Sie eine Version nur dann erneut, wenn Sie denselben Verarbeitungsversuch wiederholen; vergeben Sie für Korrekturen, Anbieterwechsel oder eine bewusste erneute Verarbeitung eine neue Version. Führen Sie Schreibvorgänge für eine Version nacheinander aus, damit gleichzeitige Wiederholungsversuche kein neueres akzeptiertes Ergebnis überschreiben können.

Mit einem begrenzten PDF-Template beginnen

Das folgende Beispiel implementiert nur die PDF-Verzweigung: Es erlaubt höchstens einen Upload, lehnt Nicht-PDF-MIME-Typen ab, fordert AWS-OCR-JSON an und exportiert Quelle und JSON unter separaten festen Schlüsseln innerhalb einer einzigen anwendungsgesteuerten Dokumentversion. Speichern Sie dieses JSON als gespeicherten Template-Inhalt, nicht als vollständige Parameter einer Assembly-Anfrage. Der Auth Key und die Signatur werden beim Erstellen der Assembly von Ihrem Server bereitgestellt. Testen Sie repräsentative PDFs auf Ausgabestruktur, nutzbaren Text und Fehlerverhalten, bevor Sie die Beispielkonfiguration erweitern. auth.max_size begrenzt die insgesamt erwarteten Upload-Bytes einschließlich Anfrage-Overhead: 104857600 Bytes entsprechen 100 MiB und sind kein Kontingent pro Datei. Dies garantiert weder eine Ablehnung, bevor bei einem fortsetzbaren Upload Bytes übertragen werden, noch den Abschluss der OCR.

Erstellen Sie ein Transloadit-Konto und speichern Sie die Assembly Instructions als Template. Legen Sie für S3 einen Eintrag mit Template-Zugangsdaten namens document-output mit key, secret, bucket und bucket_region an; die Einrichtung ist unter Template-Zugangsdaten beschrieben. Für diese Beispielkonfiguration muss der Server die gesamte Assembly-Anfrage einschließlich des Uploads zusammenstellen und senden, statt signierte Parameter an einen Browser zu übergeben. Er muss in den Feldern der Anfrage nicht leere, autorisierte und pfadsichere Werte für document_id und output_version bereitstellen und validieren. Diese werden in den Speicherpfaden zu den Variablen ${fields.document_id} und ${fields.output_version}. Multipart-Felder tragen ebenfalls zu den Assembly-Feldern bei und sind nicht durch die Signatur der Parameter abgedeckt; daher autorisiert das Signieren allein kein Speicherpräfix. Leiten Sie keine vom Client übermittelten Felder weiter. Prüfen Sie vor der Indexierung, ob die zurückgegebenen Speicherschlüssel dem vom Server erwarteten Präfix entsprechen. Speichern Sie allow_steps_override: false im gespeicherten Template, um bei Verwendung von template_id Überschreibungen von Steps zur Laufzeit zu verhindern. Halten Sie den Bucket mit aktiviertem Block Public Access privat und prüfen Sie die Leseberechtigung; acl: bucket-default lässt eine Objekt-ACL weg und stützt sich auf die Zugriffsrichtlinie des Buckets.

Dieses Beispiel legt provider: aws fest, um die Anbieterauswahl explizit zu machen, nicht um identische Antworten zu garantieren. Die Voreinstellung ist auto. Nutzen Sie die aktuellen Limits von AWS Textract⁠ als maßgebliche Referenz für die Sprachunterstützung von AWS. Prüfen Sie die Unterstützung durch den Anbieter, bevor Sie AWS oder GCP auswählen; ihre JSON-Strukturen unterscheiden sich. Testen Sie Ihre Dokumentsprachen und Layouts mit dem gewählten Anbieter und rechnen Sie damit, dass sich die Antworten mit der Weiterentwicklung der Anbietermodelle ändern.

Das Beispiel verwendet format: "json" mit granularity: "list", um für die Indexierung und Prüfungen der Textmenge ein Array erkannter Zeilen als Zeichenfolgen zu exportieren. Das vermeidet die Mischung aus Seiten-, Zeilen- und Worteinträgen des Standardartefakts mit der Granularität full, bei der Text wiederholt auftreten kann. format: "text" exportiert dagegen Klartext und erzwingt die Granularität list. Keine der beiden Ausgaben enthält Seitenzuordnungen oder Konfidenz-Scores. Wenn Sie die Granularität full wählen, verwenden die optionalen Polygonpunkte einen Breitenwert und einen Höhenwert aus den PDF-Metadaten und werden zu Nullen, wenn diese Abmessungen fehlen. Validieren Sie die Punkte vor der Verwendung für Overlays und leiten Sie die Seitenidentität niemals aus Polygonen oder der Array-Reihenfolge ab.

Auch eine erfolgreiche OCR-Verarbeitung kann Text übersehen oder falsch erkennen. Prüfen Sie die beiden exportierten Objekte und die Menge des extrahierten Textes im Verhältnis zur gemeldeten Seitenzahl und leiten Sie verdächtige Ergebnisse zur Prüfung durch Menschen weiter. Diese automatisierten Prüfungen zeigen Probleme auf, belegen aber weder Vollständigkeit noch Genauigkeit der Erkennung; vergleichen Sie die Ergebnisse vor der Veröffentlichung mit bekanntem Text in repräsentativen Quelldokumenten.

Die festen Objektschlüssel source.pdf und ocr.json sorgen dafür, dass erneute Versuche für eine Dokumentversion dieselben Speicherorte ansteuern. Sie deduplizieren keine Assemblies und machen OCR nicht deterministisch; die Anwendung muss erneute Versuche serialisieren und die Zuordnung zum akzeptierten Ergebnis beibehalten. Vergleichen Sie die Gebühren der Anbieter anhand der Preise von Transloadit und berücksichtigen Sie dabei das Seitenvolumen und weitere Verarbeitung im Workflow. Die anbieterspezifische OCR-Seitengebühr wird anhand des für die Eingabe gemeldeten Werts page_count berechnet; vergleichen Sie aktuelle Gebühren, bevor Sie die Kosten des gesamten Workflows schätzen.

{
  "allow_steps_override": false,
  "auth": {
    "max_number_of_files": 1,
    "max_size": 104857600
  },
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "pdf_only": {
      "use": ":original",
      "robot": "/file/filter",
      "accepts": [["${file.mime}", "==", "application/pdf"]],
      "error_on_decline": true,
      "error_msg": "Upload a PDF document"
    },
    "extracted_text": {
      "use": "pdf_only",
      "robot": "/document/ocr",
      "provider": "aws",
      "format": "json",
      "granularity": "list",
      "result": true
    },
    "stored_source": {
      "use": "pdf_only",
      "robot": "/s3/store",
      "credentials": "document-output",
      "path": "documents/${fields.document_id}/${fields.output_version}/source.pdf",
      "acl": "bucket-default",
      "result": true
    },
    "stored_text": {
      "use": "extracted_text",
      "robot": "/s3/store",
      "credentials": "document-output",
      "path": "documents/${fields.document_id}/${fields.output_version}/ocr.json",
      "acl": "bucket-default",
      "result": true
    }
  }
}