Text aus Dokumenten und Bildern in großem Umfang extrahieren

Textextraktion wird dann nützlich, wenn sie Teil der Pipeline ist, die den Upload ohnehin verarbeitet, statt ein separater Dienst zu sein, dem man erst mitteilen muss, wo die Datei liegt. Die wesentlichen Entscheidungen sind, welcher Robot zur Eingabe passt und welche Form die Ausgabe nachgelagert haben muss.

Worauf es besonders ankommt

• Die Granularität list liefert positionierte Fragmente, während full einen einzelnen Textblock zurückgibt.
• Anbieter lassen sich auf aws oder gcp festlegen, wenn Konsistenz wichtiger ist als Verfügbarkeit.

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "pdfs": {
      "use": ":original",
      "robot": "/file/filter",
      "accepts": [
        ["${file.mime}", "regex", "application/pdf"]
      ]
    },
    "photos": {
      "use": ":original",
      "robot": "/file/filter",
      "accepts": [
        ["${file.mime}", "regex", "^image/"]
      ]
    },
    "deskewed": {
      "use": "pdfs",
      "robot": "/document/autorotate"
    },
    "pdf_text": {
      "use": "deskewed",
      "robot": "/document/ocr",
      "format": "json",
      "granularity": "full"
    },
    "photo_text": {
      "use": "photos",
      "robot": "/image/ocr",
      "format": "json",
      "granularity": "full"
    }
  }
}

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "recognized": {
      "use": ":original",
      "robot": "/document/ocr",
      "format": "meta",
      "granularity": "full",
      "provider": "gcp"
    },
    "only_invoices": {
      "use": "recognized",
      "robot": "/file/filter",
      "accepts": [
        ["${file.meta.recognized_text}", "regex", "(?i)invoice"]
      ]
    }
  }
}

Wissenswerte technische Details

• /document/ocr und /image/ocr akzeptieren beide die Parameter provider, granularity und format. Der Anbieter wird standardmäßig automatisch ausgewählt und kann auf aws oder gcp festgelegt werden.
• Der Parameter format akzeptiert json, meta und text. Die Option meta gibt keine Datei zurück, sondern speichert die Zeichenketten am Datei-Objekt unter ${file.meta.recognized_text}; spätere Steps können sie dort auslesen.
• Der Parameter granularity akzeptiert full und list. Verwenden Sie list, wenn Sie Positionen je Fragment für Schwärzungen oder die Feldextraktion benötigen, und full, wenn Sie nur den Text brauchen.
• Für OCR gilt eine Mindestberechnung von einem Megabyte pro Datei; daher ist es günstiger, viele kleine Scans in einer Assembly zu bündeln, als eine Assembly pro Seite zu starten.
• Die Erkennungsqualität hängt weit stärker von der Vorbereitung der Eingabe ab als von der Wahl des Anbieters. Die Schräglage mit /document/autorotate zu korrigieren und den Kontrast vor der Erkennung zu normalisieren, bringt in der Regel mehr als ein Wechsel des Anbieters.
• Da die Ausgabe variiert, wenn Anbieter ihre Modelle neu trainieren, speichern Sie den erkannten Text zusammen mit der Quelldatei und dem Datum seiner Erstellung, damit eine spätere Änderung sichtbar wird und nicht unbemerkt bleibt.

Ein praxisnaher Ansatz

Wann Transloadit hilfreich ist

Verwenden Sie /document/ocr für PDFs und /image/ocr für Fotos und Screenshots. Wandeln Sie andere Dokumentformate zuerst mit /document/convert in PDF um. Wählen Sie das Format meta, wenn spätere Steps den Text benötigen, und die Formate json oder text, wenn Sie ihn speichern.

Architekturgrenze

OCR läuft auf KI-Diensten von Drittanbietern, deren Modelle sich im Laufe der Zeit ändern, sodass dieselbe Eingabe später einen anderen Text liefern kann. Behandeln Sie erkannten Text als durchsuchbaren Beleg und nicht als maßgebliche Aufzeichnung, und prüfen Sie in Tests niemals auf exakte Zeichenfolgen.