Transforme qualquer documento em Markdown pronto para LLMs
Modelos de linguagem leem Markdown bem. Um título mostra onde um assunto começa, uma lista continua sendo uma lista, e um parágrafo expressa uma ideia. Os documentos que seus usuários enviam não se parecem em nada com isso. Um PDF repete um cabeçalho e um número de página em todas as páginas e quebra frases no fim de cada linha. Uma digitalização não contém texto algum. Se você fornecer isso a um modelo sem alterações, cada trecho no seu índice RAG carregará esse ruído: você paga por ele em tokens e em respostas piores.
A Transloadit agora transforma esses documentos em Markdown limpo. PDFs, digitalizações, fotos de uma página, arquivos do Word e do PowerPoint: um comando, por documento ou por página.
Um comando
Primeiro, autentique a CLI da Transloadit. Depois, execute:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i report.pdf -o out/
builtin/extract-text é um Builtin Template pronto para uso,
baseado no 🤖 /document/extract. O Markdown é salvo em out/report-text.md.
Nós o executamos no material de imprensa da Artemis II da NASA, com 27 páginas de visão geral da missão, cronogramas e informações sobre a tripulação. O resultado ficou pronto em cerca de cinco segundos. Esta é a metade inferior da página 3:
E este foi o resultado que o comando retornou para ela:
### Mission Priorities
The Artemis II test flight will confirm the systems necessary to support astronauts in deep space exploration and prepare to establish a sustained presence on the Moon. There are five main priorities for Artemis II:
1. Crew: Demonstrate the ability of systems and teams to sustain the flight crew in the flight environment, and through their return to Earth.
2. Systems: Demonstrate systems and operations essential to a crewed lunar campaign. This ranges from ground systems to hardware in space, and operations spanning from development to launch, flight, and recovery.
3. Hardware and Data: Retrieve flight hardware and data, assessing performance for future missions.
4. Emergency Operations: Demonstrate emergency system capabilities and validate associated operations to the extent practical, such as abort operations and rescue procedures, as needed.
5. Data and Subsystems: Complete additional objectives to verify subsystems and validate data.
Algumas coisas aconteceram durante o processamento:
- Títulos são títulos. O texto claramente maior que o corpo do texto vira um título Markdown, e o nível acompanha o tamanho.
- Os parágrafos voltam a ficar inteiros. O PDF armazena cada linha impressa separadamente. O Markdown tem uma linha por parágrafo, então uma frase nunca é cortada ao meio.
- Listas continuam sendo listas. As cinco prioridades são retornadas como uma lista numerada.
- Os elementos repetitivos da página são removidos. O rodapé “Artemis II Press Kit” e o número de página se repetem em todas as páginas do PDF. Eles não aparecem no Markdown.
Negrito e itálico dentro de um parágrafo não são preservados: os rótulos em negrito da lista são retornados como texto simples.
Markdown é um dos quatro formatos. text_format também aceita txt, html e json.
Um arquivo por página, para RAG
Para recuperação de informações, geralmente você quer trechos menores e um número de página para citar. Adicione dois campos:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
--field text_granularity=page \
--field text_method=native \
-i report.pdf -o out/
Agora cada página tem seu próprio arquivo:
$ ls -v out/report/native_text/ | head -n 3
report-page-1.md
report-page-2.md
report-page-3.md
$ ls out/report/native_text/ | wc -l
27
Os níveis dos títulos são medidos no documento inteiro, então um título de seção tem o mesmo nível
na página 3 e na página 20. text_method=native instrui o Robot a ler o texto armazenado no
PDF. A saída por página exige isso. Para PDFs digitalizados, há um pipeline por página mais adiante.
Digitalizações e fotos
Uma digitalização é uma imagem de texto. Forneça ao mesmo comando um JPEG, um PNG ou um PDF sem nenhum texto, e a Transloadit executará OCR para você:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i scan.jpg -o out/
Nós testamos com uma página datilografada do material de imprensa da Apollo 11 de 1969 da NASA:
APOLLO 11
The United States will launch a three-man spacecraft toward the Moon on July 16 with the goal of landing two astronaut-explorers on the lunar surface four days later.
If the mission--called Apollo 11 is successful, man will accomplish his long-time dream of walking on another celestial body.
A saída do OCR é retornada em parágrafos: as linhas que pertencem ao mesmo parágrafo são unidas. Ela não é perfeita: observe com atenção e você verá que o segundo traço após “Apollo 11” foi omitido.
Alguns PDFs digitalizados contêm texto deixado por uma execução anterior de OCR, muitas vezes de
baixa qualidade. Adicione --field text_method=ocr para ignorar esse texto e ler as páginas novamente.
Word e PowerPoint
Arquivos do Office funcionam da mesma forma. Forneça um .docx ou um .pptx, e o Template primeiro o converte em
PDF com o 🤖 /document/convert e depois extrai o Markdown:
npx -y @transloadit/node assemblies create \
--template builtin/extract-text \
--field text_format=md \
-i countdown.docx -o out/
O documento explicativo da NASA sobre a contagem regressiva do lançamento da Artemis I, um arquivo do Word, foi retornado como parágrafos limpos em menos de cinco segundos. Uma apresentação do PowerPoint de 42 slides e 320 MB levou 27 segundos. De uma apresentação, você obtém o texto dos slides, com os títulos como títulos Markdown. Imagens e diagramas não são descritos.
Pipelines maiores
builtin/extract-text cobre os casos comuns. Quando precisar de mais controle, escreva os Steps
por conta própria. Este pipeline gera um arquivo Markdown por página de um PDF digitalizado:
o 🤖 /document/split divide o PDF em páginas individuais, e
/document/extract executa OCR em cada uma delas. Salve-o como scan-pages.json:
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"pages": {
"use": ":original",
"robot": "/document/split",
"split": true
},
"markdown": {
"use": "pages",
"robot": "/document/extract",
"extract": ["text"],
"text_method": "ocr",
"ocr_provider": "aws",
"text_format": "md",
"result": true
}
}
}
Depois, execute:
npx -y @transloadit/node assemblies create --steps scan-pages.json -i scans.pdf -o out/
Quatro páginas digitalizadas levaram dez segundos:
$ find out -type f | sort
out/scans/markdown/scans_page_1-text.md
out/scans/markdown/scans_page_2-text.md
out/scans/markdown/scans_page_3-text.md
out/scans/markdown/scans_page_4-text.md
A partir daqui, é o trabalho habitual com Assemblies. Selecione páginas com o parâmetro pages de /document/split,
combine primeiro vários PDFs em um só com o 🤖 /document/merge ou adicione
um Robot de armazenamento para que o Markdown seja salvo no seu próprio
bucket, junto ao upload que lhe deu origem.
Comece agora
Execute o primeiro comando com um documento seu ou experimente os Steps no Template Editor. A documentação do 🤖 /document/extract lista todos os parâmetros.
Os documentos de exemplo são o material de imprensa da Artemis II e o material de imprensa da Apollo 11 da NASA. O uso deles aqui não significa que a NASA endossa a Transloadit.
