Tornando APIs e documentação mais acessíveis a ferramentas de IA
A Transloadit publica os arquivos /llms.txt e /llms-full.txt para facilitar o consumo da nossa documentação
por ferramentas com capacidade de recuperação e por agentes de IA. Esses arquivos oferecem pontos de
entrada orientados a Markdown, junto com o site de documentação normal.
O que é o llms.txt?
Proposto em setembro de 2024 por Jeremy Howard, cofundador da Answer.AI,
o /llms.txt é uma convenção da comunidade para publicar um índice conciso em Markdown das páginas importantes.
Ele oferece aos sistemas de recuperação um ponto de partida mais simples do que um site renderizado e
permite que quem faz a chamada selecione as páginas de origem relevantes antes de adicioná-las ao
contexto de um modelo.
O llms.txt deve ser tratado como uma interface de recuperação, e não como um mecanismo de SEO ou de ranqueamento de respostas.
Publicar o arquivo não garante que o Google, o ChatGPT ou outro produto vá descobri-lo, usá-lo,
ranquear um site de forma diferente ou gerar uma resposta mais precisa. Cada crawler, assistente e
agente decide quais URLs recupera e como usa o conteúdo retornado.
A convenção atual descreve um pequeno grafo de recuperação:
- Arquivos
llms.txtcom escopo por caminho oferecem visões gerais concisas com links estruturados para os principais recursos. - As páginas de documentação expõem variantes em Markdown, enquanto os links
rel="alternate"erel="describedby"ajudam os clientes a descobrir a página em Markdown e o índice mais específico.
A Transloadit também mantém o /llms-full.txt, um endpoint complementar mais antigo e específico da nossa
implementação, que contém um corpus monolítico da documentação. Ele não faz parte do formato llms.txt
atual e não é o ponto de partida recomendado para recuperação.
Por que isso importa para desenvolvedores?
Quando uma ferramenta consegue recuperar esses arquivos, a implementação da Transloadit oferece benefícios práticos:
-
Um ponto de entrada previsível: as ferramentas podem começar a partir de um único índice documentado, em vez de descobrir links na navegação renderizada.
-
Uso seletivo do contexto: quem faz a chamada pode recuperar as páginas relevantes para uma tarefa, em vez de colocar todo o corpus da documentação em um único prompt.
-
Respostas orientadas às fontes: os agentes podem citar páginas atuais sobre nossos Robots, parâmetros e fluxos de trabalho. A precisão ainda depende da recuperação, do comportamento do modelo e da verificação.
-
Menor custo de parsing: o Markdown remove grande parte da navegação, da estilização e da interface client-side que são irrelevantes para a recuperação da documentação.
O que está incluído na nossa implementação?
Nosso arquivo /llms.txt oferece uma visão geral concisa das
funcionalidades principais da Transloadit, incluindo:
- uma explicação clara dos nossos recursos de upload e processamento de arquivos;
- exemplos de Assembly Instructions, demonstrando nossa configuração de fluxos de trabalho baseada em JSON;
- links para os principais recursos da documentação;
- uma lista completa dos Robots disponíveis.
O /llms-full.txt, mais detalhado, amplia isso com:
- schemas detalhados dos parâmetros de cada Robot;
- exemplos de código para diversos cenários de integração;
- documentação abrangente sobre todos os aspectos do serviço da Transloadit.
Como usar o llms.txt com ferramentas de IA
Comece pelo https://transloadit.com/llms.txt, selecione os links
que correspondem à tarefa e recupere essas páginas. Se a sua ferramenta não conseguir buscar URLs,
copie o Markdown relevante para o prompt ou anexe o arquivo baixado. Evite carregar o llms-full.txt por padrão:
as páginas específicas costumam consumir menos contexto e são mais fáceis de verificar.
Não presuma que mencionar a URL faz um assistente buscá-la. Verifique os recursos de recuperação ou navegação da ferramenta e peça que ela identifique as páginas de origem que realmente usou.
Participe do movimento por uma web amigável à IA
Vemos o llms.txt como uma convenção útil e leve para a recuperação de documentação. Seu valor vem
de oferecer às ferramentas um mapa de fontes estável e de dar aos desenvolvedores controle sobre quais
páginas entram no contexto de um modelo, e não de um suposto impulso no ranqueamento.
Incentivamos outros serviços a participar desse movimento e implementar seus próprios arquivos llms.txt. Para mais
informações sobre a proposta, acesse llmstxt.org.
Recursos
- llms.txt da Transloadit
- llms-full.txt da Transloadit
- Documentação da proposta llms.txt
- Proposta de Jeremy Howard
- Diretório de implementações do llms.txt
- Hub do llms.txt
Temos interesse em ver como os desenvolvedores usam essa interface de recuperação com a Transloadit. Como sempre, seu feedback e suas perguntas são bem-vindos no nosso Fórum da comunidade.