Convierte cualquier documento en Markdown listo para LLM
Los modelos de lenguaje leen bien Markdown. Un encabezado indica dónde empieza un tema, una lista sigue siendo una lista y un párrafo expresa una idea. Los documentos que suben tus usuarios no se parecen en nada a eso. Un PDF repite un encabezado y un número de página en cada página y corta las oraciones al final de cada línea. Un escaneo no contiene texto alguno. Si se lo pasas así a un modelo, cada fragmento de tu índice RAG arrastra ese ruido: lo pagas en tokens y en peores respuestas.
Ahora Transloadit convierte esos documentos en Markdown limpio. PDF, escaneos, fotos de una página, archivos de Word y PowerPoint: un comando, por documento o por página.
Un comando
Primero, autentica la CLI de Transloadit. Luego ejecuta:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i report.pdf -o out/
builtin/extract-text es un Builtin Template listo para usar
basado en 🤖 /document/extract. El Markdown se guarda en
out/report-text.md.
Lo ejecutamos con el dossier de prensa de Artemis II de la NASA, 27 páginas con una descripción de la misión, cronogramas e información sobre la tripulación. El resultado llegó en unos cinco segundos. Esta es la mitad inferior de la página 3:
Y esto es lo que devolvió el comando para esa página:
### Mission Priorities
The Artemis II test flight will confirm the systems necessary to support astronauts in deep space exploration and prepare to establish a sustained presence on the Moon. There are five main priorities for Artemis II:
1. Crew: Demonstrate the ability of systems and teams to sustain the flight crew in the flight environment, and through their return to Earth.
2. Systems: Demonstrate systems and operations essential to a crewed lunar campaign. This ranges from ground systems to hardware in space, and operations spanning from development to launch, flight, and recovery.
3. Hardware and Data: Retrieve flight hardware and data, assessing performance for future missions.
4. Emergency Operations: Demonstrate emergency system capabilities and validate associated operations to the extent practical, such as abort operations and rescue procedures, as needed.
5. Data and Subsystems: Complete additional objectives to verify subsystems and validate data.
Durante el proceso ocurrieron varias cosas:
- Los encabezados son encabezados. El texto claramente más grande que el cuerpo se convierte en un encabezado de Markdown, cuyo nivel corresponde al tamaño.
- Los párrafos vuelven a estar completos. El PDF almacena cada línea impresa por separado. El Markdown tiene una línea por párrafo, por lo que ninguna oración queda cortada por la mitad.
- Las listas siguen siendo listas. Las cinco prioridades se devuelven como una lista numerada.
- Los elementos repetitivos de la página desaparecen. El pie de página «Artemis II Press Kit» y el número de página se repiten en todas las páginas del PDF. No aparecen en el Markdown.
Las negritas y cursivas dentro de un párrafo no se conservan: las etiquetas en negrita de la lista se devuelven como texto sin formato.
Markdown es uno de los cuatro formatos. text_format también admite
txt, html y json.
Un archivo por página, para RAG
Para la recuperación, normalmente necesitas fragmentos más pequeños y un número de página que puedas citar. Añade dos campos:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
--field text_granularity=page \
--field text_method=native \
-i report.pdf -o out/
Ahora cada página tiene su propio archivo:
$ ls -v out/report/native_text/ | head -n 3
report-page-1.md
report-page-2.md
report-page-3.md
$ ls out/report/native_text/ | wc -l
27
Los niveles de encabezado se determinan en todo el documento, de modo que un encabezado de sección
tiene el mismo nivel en la página 3 que en la página 20. text_method=native indica al
Robot que lea el texto almacenado en el PDF. La salida por página lo requiere. Más abajo hay un
pipeline por página para PDF escaneados.
Escaneos y fotos
Un escaneo es una imagen de texto. Pasa al mismo comando un JPEG, un PNG o un PDF que no contenga texto, y Transloadit ejecutará OCR por ti:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i scan.jpg -o out/
Lo probamos con una página mecanografiada del dossier de prensa de la NASA de 1969 para Apollo 11:
APOLLO 11
The United States will launch a three-man spacecraft toward the Moon on July 16 with the goal of landing two astronaut-explorers on the lunar surface four days later.
If the mission--called Apollo 11 is successful, man will accomplish his long-time dream of walking on another celestial body.
La salida de OCR se devuelve como párrafos: las líneas que van juntas se unen. No es perfecta: si miras con atención, verás que falta la segunda raya después de «Apollo 11».
Algunos PDF escaneados sí contienen texto, resultado de una ejecución anterior de OCR, y a menudo
es de mala calidad. Añade --field text_method=ocr para ignorarlo y leer las páginas de nuevo.
Word y PowerPoint
Los archivos de Office funcionan de la misma manera. Pasa un .docx o un
.pptx, y el Template primero lo convertirá a PDF con
🤖 /document/convert y luego extraerá el Markdown:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i countdown.docx -o out/
La explicación de la NASA sobre la cuenta regresiva para el lanzamiento de Artemis I, un archivo de Word, se devolvió como párrafos limpios en menos de cinco segundos. Una presentación de PowerPoint de 42 diapositivas y 320 MB tardó 27 segundos. De una presentación se obtiene el texto de las diapositivas, con los títulos como encabezados. Las imágenes y los diagramas no se describen.
Pipelines más grandes
builtin/extract-text cubre los casos comunes. Cuando necesites más control, escribe los
Steps por tu cuenta. Este pipeline genera un archivo Markdown por cada página de un PDF escaneado:
🤖 /document/split divide el PDF en páginas individuales, y
/document/extract ejecuta OCR en cada una. Guárdalo como
scan-pages.json:
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"pages": {
"use": ":original",
"robot": "/document/split",
"split": true
},
"markdown": {
"use": "pages",
"robot": "/document/extract",
"extract": ["text"],
"text_method": "ocr",
"ocr_provider": "aws",
"text_format": "md",
"result": true
}
}
}
Luego ejecútalo:
npx -y @transloadit/node assemblies create --steps scan-pages.json -i scans.pdf -o out/
Cuatro páginas escaneadas tardaron diez segundos:
$ find out -type f | sort
out/scans/markdown/scans_page_1-text.md
out/scans/markdown/scans_page_2-text.md
out/scans/markdown/scans_page_3-text.md
out/scans/markdown/scans_page_4-text.md
A partir de aquí, se trabaja como con cualquier Assembly. Selecciona páginas con el parámetro
pages de /document/split, combina primero varios PDF en uno
con 🤖 /document/merge, o añade un
Robot de almacenamiento para que el Markdown se guarde en tu propio
bucket, junto al archivo subido del que proviene.
Primeros pasos
Ejecuta el primer comando con un documento propio, o prueba los Steps en el Template Editor. La documentación de 🤖 /document/extract enumera todos los parámetros.
Los documentos de ejemplo son el dossier de prensa de Artemis II y el dossier de prensa de Apollo 11 de la NASA. Su uso aquí no significa que la NASA respalde a Transloadit.
