テキストと埋め込み画像の抽出
🤖/document/extract は、PDF ドキュメントからテキストと埋め込み画像を抽出します。

PDF 文書からネイティブテキスト(選択可能なテキスト)と埋め込みラスター画像を抽出します。
DOCX ファイルの場合は、まず /document/convert を format: "pdf" とともに使用し、その出力をこの Robot に渡してください。
Markdown と HTML の出力はベータ版です。ピクセル単位での完全な再現ではなく、読みやすい構造を目指しています。ネイティブ抽出では、可能な範囲で段落、大きなフォントの見出し、単純なリスト、整列した表を検出します。複数段組みのテキストが混在したり、本文が表として誤認識されたりすることがあり、結合セルの調整が必要になる場合もあります。HTML では抽出したテキストをエスケープし、元のスクリプト、リンク、イベントハンドラーを除外します。
この Robot はページ全体をレンダリングしません。ページ画像が必要な場合は、/document/thumbs を使用してください。ベクターグラフィックス、グラフ、ページの背景は、必ずしも埋め込みラスター画像ではないため、この Robot から返されない場合があります。
使用例
PDF ドキュメントからネイティブテキストと埋め込みラスター画像を抽出します:
{
"steps": {
"extracted": {
"extract": [
"text",
"images"
],
"robot": "/document/extract",
"text_method": "native",
"use": ":original"
}
}
}パラメーター
interpolateboolean | Record<string, boolean>処理設定の各フィールドで Assembly Variables を展開するかどうかを制御します。
デフォルトでは、Robot の処理設定のほとんどのフィールドで Assembly Variables が展開されます。すべての設定フィールドをリテラルテキストとして扱うには、このパラメーターを
falseに設定してください。特定のフィールドだけをリテラルテキストとして扱うには、そのフィールドのパスをfalseに設定してください。デフォルトでリテラルとして扱われる Robot 固有のフィールドで展開を有効にするには、このパラメーターをtrueに設定するか、そのフィールドのパスをtrueに設定してください。pathのようなフィールド名を使用してください。ネストされたオブジェクトには、ffmpeg.vfのようなドット区切りのパスを使用してください。output_metaRecord<string, boolean> | boolean | Array<string>算出に多くの CPU リソースを要するメタデータを指定できます。Assembly の処理速度を維持するため、これらはデフォルトで無効になっています。
画像の場合、このオブジェクトに
"has_transparency": trueを追加すると、画像に透明な部分が含まれるかどうかを抽出できます。"dominant_colors": trueを追加すると、画像から 16 進数のカラーコードの配列を抽出できます。画像の場合、
"blurhash": trueを追加すると、画像のプレースホルダーをコンパクトに表す BlurHash 文字列も抽出できます。画像全体の読み込み中に、ぼかしたプレビューを表示するのに役立ちます。画像の場合、代わりに
"thumbhash": trueを使用すると、base64 エンコードされた ThumbHash をmeta.thumbhashに抽出し、meta.has_alpha(完全に不透明な場合も含め、アルファチャンネルが存在するかどうか)も抽出します。ThumbHash は EXIF の向きを反映したピクセルを表し、アニメーション画像では最初のフレームを使用します。抽出はベストエフォートです。40 メガピクセルを超える画像、非対応の形式、デコードの失敗やデコード処理の上限への到達があった場合、プレースホルダーは生成されません。抽出に成功すると、そのファイルのバイト数の 20% に相当するメタデータ料金が加算されます。無効な場合やハッシュが生成されない場合、ThumbHash の追加料金は発生しません。このオプションは画像を生成する Step に設定してください。たとえば、アップロードされた元画像では
/upload/handle、処理済みの出力では/image/resizeに設定します。/transloadit/storeにのみ設定しても、抽出は要求されません。ストレージは生成元のメタデータを保持します。Transloadit Storage は生成されたハッシュをその不変のバージョンとともに永続化し、保存済みの結果やネイティブのアセット読み取り時に返します。S3 への直接アップロードではプレースホルダーは生成されません。プレースホルダーには画像情報が含まれるため、画像全体と同じアクセス制御で保護してください。動画の場合、
"colorspace": trueパラメーターを追加すると、出力動画の色空間を抽出できます。動画の場合、
"interlaced": trueを追加すると、インターレース動画かどうかも検出できます。これは、低コストの ffprobe のfield_orderフラグと、ソースの先頭フレームに対する処理範囲を制限したidetサンプリング処理を組み合わせ、file.metaの下にinterlaced、field_order、診断用のinterlace_detectionオブジェクトを出力します。この処理は計算コストが高く、それに応じて課金されます。音声の場合、
"mean_volume": trueを追加すると、音声ファイルの平均音量を表す単一の値を取得できます。また、
falseに設定すると、メタデータの抽出をスキップしてトランスコードを高速化できます。user_metaRecord<string, any>(デフォルト:{})出力される各ファイルに、ファイルの内容を変更せずにカスタム JSON メタデータを追加します。ネストしたオブジェクトと配列に対応しています。
継承の動作は Robot によって異なります。値は出力ファイルの既存の
user_metaとマージされ、一致するトップレベルのキーは現在の Step によって置き換えられます。Robot が新しい出力を作成する場合は、必要なキーを明示的に割り当ててください。処理 Step では、
${file.*}は最初の入力を、${result.*}は出力されるファイルを参照します。値は Robot の実行後、後続のメタデータ抽出と一時保存の前に、出力ごとに評価されます。:originalでは、メタデータ抽出の前にアップロードごとに値が評価されます。後続の Step は
${file.user_meta.key}を読み取ります。完全な例と継承ルールについては、カスタムメタデータ を参照してください。resultboolean(デフォルト:false)この Step の結果を Assembly Status JSON に含めるかどうか
queuebatchqueue を 'batch' に設定すると、このステップのジョブの優先度を手動で下げ、キューの待ち時間がゼロである必要のないジョブが優先ジョブスロットを消費しないようにします。
force_acceptboolean(デフォルト:false)通常は無視するファイルタイプを Robot に強制的に受け入れさせます。
デフォルトでは、Robot は認識できないファイルを無視します。たとえば、🤖/video/encodeは入力画像を無視します。
force_acceptパラメーターをtrueに設定すると、Robot に渡されたすべてのファイルを強制的に受け入れさせることができます。通常、この設定はエラーにつながるため、デバッグやエッジケースへの対処にのみ使用してください。ignore_errorsboolean | Array<meta | execute>(デフォルト:[])処理の特定のフェーズでエラーを無視します。
このパラメーターを
["meta"]に設定すると、Robot はメタデータ抽出中のエラーを無視します。このパラメーターを
["execute"]に設定すると、Robot はメイン実行フェーズ中のエラーを無視します。このパラメーターを
trueに設定すると、["meta", "execute"]と同じ動作になり、両方のフェーズでエラーを無視します。usestring | Array<string> | Array<object> | object入力として使用する Step を指定します。
- Step には任意の名前を付けられます。ただし、
":original"は Transloadit が処理するユーザーアップロード用に予約されています。 - 配列を使用して、複数の Step を入力として指定できます。
{ "use": [ ":original", "encoded", "resized" ] } - 入力 Step に
asでタグを付けて、意味上の用途を Robot に伝えることもできます。{ "use": [ { "name": ":original", "as": "image" }, { "name": ":original", "as": "mask" } ] }
ヒントuseについては、通常ここまでの内容で十分ですが、高度な使用例 も参照できます。- Step には任意の名前を付けられます。ただし、
extracttext | images | Array<text | images>(デフォルト:["text","images"])抽出する対象を選択します。
["text"]、["images"]、または["text", "images"]を使用してください。page_rangestringカンマ区切りでページを選択する任意の設定です。例:
"1"、"1-3"、"1,3-5"。ページ番号は 1 から始まります。範囲は、検出されたページ数を超えないように制限されます。ジョブごとに選択できるのは最大 1,000 ページです。
この設定は、ネイティブテキストの抽出と埋め込み画像の抽出でサポートされています。OCR 抽出は現在、文書全体を対象に処理します。
passwordstringネイティブテキストの抽出と埋め込み画像の抽出で、暗号化された PDF のロックを解除するためのパスワードです。OCR 抽出は現在、暗号化された PDF をサポートしていないため、
text_method: "ocr"またはtext_method: "auto"と併用しないでください。text_methodnative | ocr | auto(デフォルト:"native")テキストの抽出方法を制御します。
"native"は、Poppler を使用して選択可能な PDF テキストをローカルで抽出します。高速ですが、スキャンされた PDF ではテキストがほとんど、またはまったく返されません。"ocr"は、処理を/document/ocrに委譲します。ocr_providerが必要です。"auto"は、まずネイティブ抽出を試み、ネイティブテキストが見つからない場合に OCR にフォールバックします。こちらもocr_providerが必要です。
OCR モードは現在、
passwordと併用できません。ocr_provideraws | gcptext_methodが"ocr"または"auto"の場合に使用する OCR プロバイダーです。有効な値は"aws"と"gcp"です。text_formattxt | json | md | html(デフォルト:"txt")抽出するテキストの出力形式です。プレーンテキストと JSON は既存の抽出動作を維持します。Markdown と HTML の出力はベータ版で、ネイティブテキストの位置とフォントサイズから基本的な構造を推定します。
ネイティブの Markdown と HTML の抽出では、レイアウトデータの上限は入力文書ごとに、選択したページ範囲の合計で 8 MiB です。これを超える文書では、抽出用の Step を分け、各 Step の
page_rangeで指定するページ数を減らしてください。ネイティブ抽出で双方向テキストの読み順を確認できない場合は、検証エラーを返します。ページ数を減らすか、OCR プロバイダーとともに
text_method: "ocr"を使用してみてください。extractに画像が含まれる場合、Markdown と HTML は、各画像結果のnameに一致する、URL エンコードされた相対ファイル名を使用して、保持された画像結果をインラインで参照します。参照を解決できるように、テキストと画像の結果を一緒に保存してください。フィルターで除外された画像への参照はありません。繰り返し出現する画像は、重複排除された同じ結果を参照する場合があります。保持された画像マスクを含め、位置情報を取得できない画像や位置情報に不整合のある画像は、そのページのテキストの後に追加されます。base64 の埋め込み画像は生成されません。エクスポート時は、入力文書ごとの共通ディレクトリ内で結果の名前を保持してください。たとえば、
/s3/storeのpathを"${assembly.id}/${file.original_id}/${file.name}"に設定します。${unique_prefix}/${file.url_name}を使用するデフォルトの保存パスでは、ファイルが分離されて名前も変更されるため、これらの相対画像リンクは保持されません。元の画像のエンコーディングによっては、ブラウザーや Markdown ビューアーで表示できない場合があります。幅広い環境で表示できる画像結果を得るには、
image_formatを"png"または"jpg"に設定してください。OCR による Markdown と HTML の出力では、信頼できるテキスト位置情報を取得できないため、構造の検出を最小限にとどめて読みやすいテキストを保持し、抽出した画像を元の順序で末尾に追加します。
text_granularitydocument | page(デフォルト:"document")ネイティブ抽出でのテキスト出力のグループ化を制御します。
"document"は、選択したページ全体で一つのテキスト結果を作成します。"page"は、選択したページごとに一つのテキスト結果を作成します。
ページ単位の出力は現在、
text_method: "native"でのみサポートされています。image_formatauto | original | png | jpg(デフォルト:"auto")抽出する埋め込みラスター画像の出力形式です。
"auto"と"original"は、可能な限り埋め込み画像の形式を保持します。"png"は、Poppler に画像を PNG としてデコードするよう要求します。"jpg"は、抽出した JPEG 以外の画像を/image/resizeで変換します。
min_image_widthstring | number(デフォルト:0)抽出する画像の最小の幅(ピクセル単位)です。これより小さい画像は無視されます。このフィルターを無効にするには、
0に設定してください。min_image_heightstring | number(デフォルト:0)抽出する画像の最小の高さ(ピクセル単位)です。これより小さい画像は無視されます。このフィルターを無効にするには、
0に設定してください。min_image_bytesstring | number(デフォルト:0)抽出する画像の最小ファイルサイズ(バイト単位)です。これより小さい画像は無視されます。
dedupe_imagesboolean(デフォルト:true)有効にすると、同一の抽出画像ファイルは一度だけ出力されます。
include_image_masksboolean(デフォルト:false)有効にすると、Poppler が画像マスクを個別のファイルとして出力した場合に、この Robot はそのファイルも保持します。