Convertir tout document en Markdown prêt pour les LLM
Les modèles de langage lisent bien le Markdown. Un titre indique où commence un sujet, une liste reste une liste et un paragraphe exprime une idée. Les documents que vos utilisateurs téléversent n’ont rien de tel. Un PDF répète un en-tête et un numéro de page sur chaque page et coupe les phrases à la fin de chaque ligne. Un scan ne contient aucun texte. Fournissez ces documents tels quels à un modèle, et chaque fragment de votre index RAG contient ce bruit : vous en payez le prix en tokens et en réponses de moindre qualité.
Transloadit transforme désormais ces documents en Markdown propre. PDF, scans, photos d’une page, fichiers Word et PowerPoint : une seule commande, par document ou par page.
Une seule commande
Commencez par authentifier la CLI Transloadit. Puis exécutez :
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i report.pdf -o out/
builtin/extract-text est un Builtin Template prêt à l’emploi
qui utilise 🤖 /document/extract. Le Markdown est enregistré dans
out/report-text.md.
Nous l’avons exécuté sur le dossier de presse Artemis II de la NASA, soit 27 pages de présentation de la mission, de calendriers et d’informations sur l’équipage. Le résultat est arrivé en environ cinq secondes. Voici la moitié inférieure de la page 3 :
Et voici ce que la commande a renvoyé pour cette page :
### Mission Priorities
The Artemis II test flight will confirm the systems necessary to support astronauts in deep space exploration and prepare to establish a sustained presence on the Moon. There are five main priorities for Artemis II:
1. Crew: Demonstrate the ability of systems and teams to sustain the flight crew in the flight environment, and through their return to Earth.
2. Systems: Demonstrate systems and operations essential to a crewed lunar campaign. This ranges from ground systems to hardware in space, and operations spanning from development to launch, flight, and recovery.
3. Hardware and Data: Retrieve flight hardware and data, assessing performance for future missions.
4. Emergency Operations: Demonstrate emergency system capabilities and validate associated operations to the extent practical, such as abort operations and rescue procedures, as needed.
5. Data and Subsystems: Complete additional objectives to verify subsystems and validate data.
Plusieurs transformations ont eu lieu :
- Les titres sont des titres. Le texte nettement plus grand que le corps du texte devient un titre Markdown, dont le niveau dépend de la taille.
- Les paragraphes sont de nouveau entiers. Le PDF stocke chaque ligne imprimée séparément. Le Markdown contient une ligne par paragraphe, de sorte qu’une phrase n’est jamais coupée en deux.
- Les listes restent des listes. Les cinq priorités sont restituées sous forme de liste numérotée.
- Les éléments répétitifs de la page ont disparu. Le pied de page « Artemis II Press Kit » et le numéro de page se répètent sur chaque page du PDF. Ils ne figurent pas dans le Markdown.
Le gras et l’italique à l’intérieur d’un paragraphe ne sont pas conservés : les libellés en gras de la liste sont restitués en texte brut.
Markdown est l’un des quatre formats proposés. text_format accepte aussi txt, html et json.
Un fichier par page, pour le RAG
Pour la recherche, vous souhaitez généralement des fragments plus petits et un numéro de page à citer. Ajoutez deux champs :
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
--field text_granularity=page \
--field text_method=native \
-i report.pdf -o out/
Chaque page possède désormais son propre fichier :
$ ls -v out/report/native_text/ | head -n 3
report-page-1.md
report-page-2.md
report-page-3.md
$ ls out/report/native_text/ | wc -l
27
Les niveaux de titres sont déterminés sur l’ensemble du document : un titre de section a donc le
même niveau à la page 3 qu’à la page 20. text_method=native indique au Robot de lire le
texte stocké dans le PDF. Cette option est requise pour une sortie par page. Pour les PDF numérisés,
un pipeline par page est présenté plus bas.
Scans et photos
Un scan est une image de texte. Fournissez à la même commande un JPEG, un PNG ou un PDF ne contenant aucun texte, et Transloadit effectue l’OCR pour vous :
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i scan.jpg -o out/
Nous l’avons essayé sur une page dactylographiée du dossier de presse Apollo 11 de la NASA de 1969 :
APOLLO 11
The United States will launch a three-man spacecraft toward the Moon on July 16 with the goal of landing two astronaut-explorers on the lunar surface four days later.
If the mission--called Apollo 11 is successful, man will accomplish his long-time dream of walking on another celestial body.
La sortie OCR est restituée en paragraphes : les lignes qui vont ensemble sont réunies. Elle n’est pas parfaite : en regardant de près, vous verrez que le second tiret après « Apollo 11 » a disparu.
Certains PDF numérisés contiennent du texte issu d’un ancien traitement OCR, souvent de mauvaise
qualité. Ajoutez --field text_method=ocr pour ignorer ce texte et relire les pages.
Word et PowerPoint
Les fichiers Office fonctionnent de la même manière. Fournissez un .docx
ou un .pptx, et le Template le convertit d’abord en PDF avec
🤖 /document/convert, puis en extrait le Markdown :
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i countdown.docx -o out/
Le document Word de la NASA expliquant le compte à rebours du lancement d’Artemis I a été restitué en paragraphes propres en moins de cinq secondes. Une présentation PowerPoint de 42 diapositives et de 320 MB a pris 27 secondes. Pour une présentation, vous obtenez le texte des diapositives, avec les titres sous forme de titres Markdown. Les images et les schémas ne sont pas décrits.
Des pipelines plus complexes
builtin/extract-text couvre les cas courants. Si vous avez besoin de davantage de contrôle,
écrivez vous-même les Steps. Ce pipeline produit un fichier Markdown par page d’un PDF numérisé :
🤖 /document/split découpe le PDF en pages individuelles, et
/document/extract effectue l’OCR sur chacune d’elles. Enregistrez-le sous
scan-pages.json :
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"pages": {
"use": ":original",
"robot": "/document/split",
"split": true
},
"markdown": {
"use": "pages",
"robot": "/document/extract",
"extract": ["text"],
"text_method": "ocr",
"ocr_provider": "aws",
"text_format": "md",
"result": true
}
}
}
Puis exécutez-le :
npx -y @transloadit/node assemblies create --steps scan-pages.json -i scans.pdf -o out/
Quatre pages numérisées ont pris dix secondes :
$ find out -type f | sort
out/scans/markdown/scans_page_1-text.md
out/scans/markdown/scans_page_2-text.md
out/scans/markdown/scans_page_3-text.md
out/scans/markdown/scans_page_4-text.md
À partir de là, vous travaillez comme avec toute Assembly. Sélectionnez les pages avec le paramètre
pages de /document/split, combinez d’abord plusieurs PDF en un
seul avec 🤖 /document/merge, ou ajoutez un
Robot de stockage pour enregistrer le Markdown dans votre propre
bucket, à côté du fichier téléversé dont il est issu.
Commencer
Exécutez la première commande avec l’un de vos documents, ou essayez les Steps dans le Template Editor. La documentation de 🤖 /document/extract répertorie tous les paramètres.
Les documents d’exemple sont les dossiers de presse Artemis II et Apollo 11 de la NASA. Leur utilisation ici ne signifie pas que la NASA approuve Transloadit.
