Rendre API et documentation plus accessibles aux outils d’IA

Transloadit publie les fichiers /llms.txt et /llms-full.txt pour faciliter l’utilisation de notre documentation par les outils capables de récupérer des informations et les agents d’IA. Ces fichiers offrent des points d’entrée en Markdown en complément du site de documentation habituel.

Qu’est-ce que llms.txt ?

Proposé en septembre 2024 par Jeremy Howard⁠, cofondateur d’Answer.AI, /llms.txt est une convention communautaire permettant de publier un index concis en Markdown des pages importantes. Il offre aux systèmes de récupération d’informations un point de départ plus simple qu’un site web rendu et permet à l’appelant de sélectionner les pages sources pertinentes avant de les ajouter au contexte d’un modèle.

llms.txt doit être considéré comme une interface de récupération d’informations, et non comme un mécanisme de référencement ou de classement des réponses. La publication du fichier ne garantit pas que Google, ChatGPT ou un autre produit le découvrira, l’utilisera, modifiera le classement d’un site ou produira une réponse plus exacte. Chaque robot d’exploration, assistant et agent décide quelles URL récupérer et comment utiliser le contenu reçu.

La convention actuelle décrit un petit graphe de récupération d’informations :

• Les fichiers llms.txt propres à un chemin fournissent des aperçus concis avec des liens structurés vers les ressources essentielles.
• Les pages de documentation proposent des variantes en Markdown, tandis que les liens rel="alternate" et rel="describedby" aident les clients à découvrir la page Markdown et l’index le plus spécifique.

Transloadit conserve également /llms-full.txt, un point de terminaison complémentaire plus ancien, propre à notre implémentation, qui contient un corpus monolithique de documentation. Il ne fait pas partie du format llms.txt actuel et n’est pas le point de départ recommandé pour la récupération d’informations.

Pourquoi est-ce important pour les développeurs ?

Lorsqu’un outil peut récupérer ces fichiers, l’implémentation de Transloadit offre des avantages pratiques :

1. Un point d’entrée prévisible : les outils peuvent partir d’un index documenté au lieu de découvrir les liens dans la navigation rendue.

2. Une utilisation sélective du contexte : les appelants peuvent récupérer les pages pertinentes pour une tâche au lieu de placer tout le corpus de documentation dans une seule invite.

3. Des réponses fondées sur les sources : les agents peuvent citer les pages actuelles consacrées à nos Robots, aux paramètres et aux flux de travail. L’exactitude dépend toujours de la récupération d’informations, du comportement du modèle et de la vérification.

4. Moins de traitement pour l’analyse du contenu : Markdown élimine une grande partie de la navigation, de la mise en forme et de l’interface côté client qui n’apportent rien à la récupération de documentation.

Que comprend notre implémentation ?

Notre fichier /llms.txt fournit un aperçu concis des principales fonctionnalités de Transloadit, notamment :

• une explication claire de nos capacités de téléversement et de traitement de fichiers ;
• des exemples d’Assembly Instructions, illustrant la configuration de nos flux de travail au format JSON ;
• des liens vers les principales ressources documentaires ;
• une liste complète des Robots disponibles.

Le fichier /llms-full.txt, plus détaillé, complète cet aperçu avec :

• des schémas détaillés des paramètres des Robots ;
• des exemples de code pour différents scénarios d’intégration ;
• une documentation complète sur tous les aspects du service Transloadit.

Comment utiliser llms.txt avec les outils d’IA

Commencez par https://transloadit.com/llms.txt, sélectionnez les liens correspondant à la tâche et récupérez les pages associées. Si votre outil ne peut pas récupérer le contenu des URL, copiez le Markdown pertinent dans l’invite ou joignez le fichier téléchargé. Évitez de charger llms-full.txt par défaut : les pages ciblées utilisent généralement moins de contexte et sont plus faciles à vérifier.

Ne supposez pas que mentionner l’URL suffit à ce qu’un assistant en récupère le contenu. Vérifiez les capacités de récupération d’informations ou de navigation de l’outil et demandez-lui d’identifier les pages sources qu’il a effectivement utilisées.

Rejoindre le mouvement pour un web accessible à l’IA

Nous considérons llms.txt comme une convention utile et légère pour la récupération de documentation. Sa valeur tient à la carte stable des sources qu’elle fournit aux outils et au contrôle qu’elle donne aux développeurs sur les pages ajoutées au contexte d’un modèle, et non à une amélioration supposée du classement.

Nous encourageons d’autres services à rejoindre ce mouvement et à mettre en place leurs propres fichiers llms.txt. Pour en savoir plus sur la proposition, consultez llmstxt.org⁠.

Ressources

• llms.txt de Transloadit
• llms-full.txt de Transloadit
• Documentation de la proposition llms.txt⁠
• Proposition de Jeremy Howard⁠
• Répertoire des implémentations de llms.txt⁠
• Portail llms.txt⁠

Nous sommes curieux de voir comment les développeurs utilisent cette interface de récupération d’informations avec Transloadit. Comme toujours, vos retours et vos questions sont les bienvenus sur notre forum communautaire⁠.