Jedes Dokument in LLM-taugliches Markdown umwandeln
Sprachmodelle können Markdown gut lesen. Eine Überschrift zeigt, wo ein Thema beginnt, eine Liste bleibt eine Liste, und ein Absatz steht für einen Gedanken. Die Dokumente, die Ihre Nutzer hochladen, sehen ganz anders aus. Ein PDF wiederholt Kopfzeile und Seitenzahl auf jeder Seite und bricht Sätze am Ende jeder Zeile um. Ein Scan enthält überhaupt keinen Text. Geben Sie das unverändert an ein Modell weiter, steckt der Ballast in jedem Chunk Ihres RAG-Index: Sie bezahlen mit Tokens und schlechteren Antworten dafür.
Transloadit wandelt diese Dokumente jetzt in sauberes Markdown um. PDFs, Scans, Fotos einer Seite, Word- und PowerPoint-Dateien: ein Befehl, pro Dokument oder pro Seite.
Ein Befehl
Zuerst authentifizieren Sie die Transloadit CLI. Führen Sie dann Folgendes aus:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i report.pdf -o out/
builtin/extract-text ist ein fertiges Builtin Template für
🤖 /document/extract. Das Markdown landet in out/report-text.md.
Wir haben es mit der Pressemappe der NASA zu Artemis II getestet: 27 Seiten mit Missionsübersicht, Zeitplänen und Informationen zur Besatzung. Das Ergebnis war nach etwa fünf Sekunden da. Dies ist die untere Hälfte von Seite 3:
Und das hat der Befehl dafür zurückgegeben:
### Mission Priorities
The Artemis II test flight will confirm the systems necessary to support astronauts in deep space exploration and prepare to establish a sustained presence on the Moon. There are five main priorities for Artemis II:
1. Crew: Demonstrate the ability of systems and teams to sustain the flight crew in the flight environment, and through their return to Earth.
2. Systems: Demonstrate systems and operations essential to a crewed lunar campaign. This ranges from ground systems to hardware in space, and operations spanning from development to launch, flight, and recovery.
3. Hardware and Data: Retrieve flight hardware and data, assessing performance for future missions.
4. Emergency Operations: Demonstrate emergency system capabilities and validate associated operations to the extent practical, such as abort operations and rescue procedures, as needed.
5. Data and Subsystems: Complete additional objectives to verify subsystems and validate data.
Dabei ist Folgendes passiert:
- Überschriften bleiben Überschriften. Text, der deutlich größer als der Fließtext ist, wird zur Markdown-Überschrift. Ihre Ebene richtet sich nach der Größe.
- Absätze sind wieder vollständig. Das PDF speichert jede gedruckte Zeile einzeln. Im Markdown steht jeder Absatz in einer Zeile, sodass kein Satz mitten im Text getrennt wird.
- Listen bleiben Listen. Die fünf Prioritäten werden als nummerierte Liste ausgegeben.
- Wiederkehrende Seitenelemente entfallen. Die Fußzeile „Artemis II Press Kit“ und die Seitenzahl wiederholen sich auf jeder PDF-Seite. Im Markdown sind sie nicht enthalten.
Fett- und Kursivschrift innerhalb eines Absatzes werden nicht übernommen: Die fett gedruckten Bezeichnungen in der Liste werden als normaler Text ausgegeben.
Markdown ist eines von vier Formaten. text_format akzeptiert auch
txt, html und json.
Eine Datei pro Seite für RAG
Für Retrieval sind meist kleinere Teile und eine zitierbare Seitenzahl sinnvoll. Fügen Sie zwei Felder hinzu:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
--field text_granularity=page \
--field text_method=native \
-i report.pdf -o out/
Jetzt ist jede Seite eine eigene Datei:
$ ls -v out/report/native_text/ | head -n 3
report-page-1.md
report-page-2.md
report-page-3.md
$ ls out/report/native_text/ | wc -l
27
Die Überschriftenebenen werden über das gesamte Dokument hinweg bestimmt. Eine Abschnittsüberschrift
hat daher auf Seite 3 dieselbe Ebene wie auf Seite 20. text_method=native weist den Robot
an, den im PDF gespeicherten Text zu lesen. Die seitenweise Ausgabe setzt dies voraus. Für gescannte
PDFs finden Sie weiter unten eine Pipeline zur seitenweisen Verarbeitung.
Scans und Fotos
Ein Scan ist ein Bild von Text. Übergeben Sie demselben Befehl ein JPEG, ein PNG oder ein PDF ohne Text, und Transloadit führt OCR für Sie aus:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i scan.jpg -o out/
Wir haben es mit einer maschinengeschriebenen Seite aus der NASA-Pressemappe zu Apollo 11 von 1969 getestet:
APOLLO 11
The United States will launch a three-man spacecraft toward the Moon on July 16 with the goal of landing two astronaut-explorers on the lunar surface four days later.
If the mission--called Apollo 11 is successful, man will accomplish his long-time dream of walking on another celestial body.
Die OCR-Ausgabe besteht aus Absätzen: Zeilen, die zusammengehören, werden verbunden. Sie ist nicht perfekt: Bei genauem Hinsehen erkennen Sie, dass der zweite Strich nach „Apollo 11“ fehlt.
Manche gescannten PDFs enthalten Text aus einem früheren OCR-Durchlauf, oft in schlechter Qualität.
Fügen Sie --field text_method=ocr hinzu, um diesen Text zu ignorieren und die Seiten erneut
zu lesen.
Word und PowerPoint
Mit Office-Dateien funktioniert es genauso. Übergeben Sie eine Datei im Format
.docx oder .pptx. Das Template wandelt sie zuerst
mit 🤖 /document/convert in PDF um und extrahiert dann das Markdown:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i countdown.docx -o out/
Die NASA-Erläuterung zum Start-Countdown von Artemis I, eine Word-Datei, wurde in unter fünf Sekunden als saubere Absätze ausgegeben. Eine PowerPoint-Präsentation mit 42 Folien und 320 MB benötigte 27 Sekunden. Aus einer Präsentation erhalten Sie den Text auf den Folien, mit den Titeln als Überschriften. Bilder und Diagramme werden nicht beschrieben.
Größere Pipelines
builtin/extract-text deckt die gängigen Fälle ab. Wenn Sie mehr Kontrolle benötigen,
schreiben Sie die Steps selbst. Diese Pipeline liefert eine Markdown-Datei pro Seite eines
gescannten PDFs: 🤖 /document/split zerlegt das PDF in Einzelseiten,
und /document/extract führt OCR auf jeder davon aus. Speichern Sie die Konfiguration
als scan-pages.json:
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"pages": {
"use": ":original",
"robot": "/document/split",
"split": true
},
"markdown": {
"use": "pages",
"robot": "/document/extract",
"extract": ["text"],
"text_method": "ocr",
"ocr_provider": "aws",
"text_format": "md",
"result": true
}
}
}
Führen Sie sie dann aus:
npx -y @transloadit/node assemblies create --steps scan-pages.json -i scans.pdf -o out/
Vier gescannte Seiten benötigten zehn Sekunden:
$ find out -type f | sort
out/scans/markdown/scans_page_1-text.md
out/scans/markdown/scans_page_2-text.md
out/scans/markdown/scans_page_3-text.md
out/scans/markdown/scans_page_4-text.md
Ab hier arbeiten Sie wie gewohnt mit Assemblies. Wählen Sie Seiten mit dem Parameter
pages von /document/split aus, führen Sie zuerst mehrere PDFs
mit 🤖 /document/merge zu einem zusammen oder fügen Sie einen
Robot zum Speichern hinzu, damit das Markdown in Ihrem eigenen
Bucket landet, neben dem Upload, aus dem es entstanden ist.
Erste Schritte
Führen Sie den ersten Befehl mit einem eigenen Dokument aus oder testen Sie die Steps im Template Editor. Die Dokumentation zu 🤖 /document/extract führt alle Parameter auf.
Die Beispieldokumente sind die NASA-Pressemappen zu Artemis II und Apollo 11. Ihre Verwendung hier bedeutet nicht, dass die NASA Transloadit empfiehlt.
