Modération automatisée : architecture et gestion des échecs

Séparer les contrôles déterministes de l’inférence liée à la politique

La modération automatisée est un système de contrôle en couches. Les contrôles déterministes permettent notamment de déterminer si un fichier dépasse une limite, possède un type autorisé, peut être analysé syntaxiquement sans erreur ou contient un logiciel malveillant détecté. Les classificateurs probabilistes estiment si un média ressemble aux catégories apprises par un modèle. Un moteur de politique décide ensuite de ce que ces faits et estimations impliquent pour une zone particulière du produit.

La séparation des couches améliore les explications et la reprise après erreur. Une image corrompue devrait échouer à la validation avec un message indiquant comment corriger le problème, tandis qu’une image ambiguë devrait être soumise à un examen. Regrouper ces deux résultats dans un état générique de contenu dangereux complique le support et peut masquer des défaillances de sécurité. Cela empêche aussi les équipes de remplacer un classificateur ou de modifier la politique sans repenser tout le circuit de réception.

Utiliser une machine à états de modération persistante

Créez un enregistrement de modération avant le début du travail asynchrone. Stockez l’identité et la somme de contrôle de la source, la version de la politique, les contrôles requis, l’état actuel, le nombre de tentatives et les identifiants des tâches externes. Les états utiles comprennent : reçu, en cours de validation, en cours d’analyse de sécurité, en cours de classification, en attente d’examen, autorisé, bloqué, en échec et expiré. Distinguez un échec technique d’un blocage lié à la politique, car les utilisateurs et les opérateurs ont besoin de solutions différentes.

Chaque transition devrait utiliser une mise à jour conditionnelle ou une transaction qui vérifie l’état précédent attendu. Enregistrez une clé d’événement pour que les appels de rappel en double ne fassent pas avancer à nouveau l’enregistrement. Une décision terminale peut mettre en file d’attente une publication ou une suppression via une outbox. Cela empêche un effet de bord externe de se produire avant que la base de données ne contienne la décision qui l’a autorisé.

Les sorties des modèles doivent figurer dans des enregistrements de signaux versionnés plutôt que dans des colonnes modifiables sans historique. Conservez le fournisseur, la version du modèle ou de la règle, l’horodatage, la catégorie, le score, la variante d’entrée et la position pertinente, comme un repère temporel dans une vidéo. L’enregistrement de la décision devrait pointer vers les signaux utilisés. Cela facilite les recours, les audits, le retraitement sélectif et les comparaisons après un changement chez un fournisseur.

Ordonner les contrôles selon leur coût et leur degré de certitude

Exécutez les contrôles peu coûteux qui peuvent mettre fin au flux de travail avant les traitements coûteux. Faites respecter les contraintes de taille et de type des téléversements, inspectez la structure des médias, recherchez les logiciels malveillants et comparez les empreintes à celles de fichiers interdits connus avant de lancer l’analyse d’images vidéo, la transcription ou plusieurs classificateurs. Cet ordre réduit les coûts et limite le temps pendant lequel les fichiers dangereux ou mal formés restent en cours de traitement.

Une Assembly Transloadit peut combiner /file/filter, /file/virusscan, l’extraction de métadonnées, la normalisation des formats et les signaux pris en charge de /image/describe. Utilisez des dépendances explicites entre Steps pour imposer l’ordre requis et des branches indépendantes pour les contrôles pouvant s’exécuter simultanément. L’application doit regrouper les résultats dans son enregistrement de modération et utiliser des services spécialisés pour les médias ou les catégories de politique non pris en charge.

Gardez la source en quarantaine pendant toute la séquence. Une transformation réussie n’implique pas une décision de modération favorable, et une vignette générée ne doit pas devenir publique tant qu’un autre contrôle obligatoire est en attente. Exportez uniquement les fichiers autorisés par une décision d’autorisation ou de restriction enregistrée durablement. Transloadit effectue les traitements configurés, tandis que l’application reste responsable de la politique et de l’état de publication.

Définir explicitement les nouvelles tentatives et le comportement en cas de panne

Classez les échecs comme transitoires, permanents ou indéterminés. Les délais d’attente réseau dépassés et les limites de débit peuvent justifier des tentatives en nombre limité, avec un espacement progressif et une variation aléatoire des délais. Les formats non pris en charge et les informations d’identification invalides nécessitent généralement une correction, pas une répétition. Fixez un nombre maximal de tentatives et une échéance pour qu’un enregistrement ne puisse pas tourner en boucle indéfiniment en accumulant des coûts.

Toute opération relancée nécessite une stratégie d’idempotence. Dérivez une clé d’opération stable à partir de la source, du type de contrôle, de la version de la politique ou du flux de travail et des paramètres pertinents. Avant de répéter un export ou une action d’application de la politique, réconciliez l’état de l’opération pour déterminer si elle a déjà réussi. Les rappels ne devraient être acquittés qu’après l’enregistrement durable de leur résultat, tandis qu’un rappel déjà traité devrait recevoir une réponse de réussite sans répétition des effets de bord.

Envoyez les tâches mal formées ou ayant épuisé leurs tentatives dans une file de lettres mortes, avec la référence de la source, la classe d’échec, l’erreur expurgée des données sensibles, l’historique des tentatives, la version du flux de travail et le responsable. Une file sans alerte, outil d’inspection ni procédure contrôlée de réexécution ne fait que masquer les échecs. La réexécution doit vérifier à nouveau l’état actuel pour qu’une ancienne tâche ne puisse pas publier un contenu bloqué ou supprimé depuis.

Combiner les signaux des médias sans perdre le contexte

Le texte, les images, l’audio et la vidéo nécessitent des éléments probants différents. Pour une vidéo, conservez séparément les étiquettes des images vidéo avec leurs repères temporels, les classifications de la transcription avec leurs plages temporelles, les signaux d’événements audio et les métadonnées du fichier. Un agrégateur de politique peut alors appliquer des règles telles que le déclenchement d’un examen par un seul signal de gravité élevée ou l’augmentation du risque par plusieurs signaux plus faibles. Ne faites pas la moyenne de scores sans rapport entre eux pour obtenir une valeur que personne ne peut interpréter.

La comparaison d’empreintes détecte rapidement des séquences d’octets connues, tandis que le hachage perceptuel peut repérer des similitudes après transformation. Aucune de ces méthodes ne détecte de manière fiable les nouvelles infractions à la politique, et les correspondances perceptuelles peuvent nécessiter un examen. L’OCR et la transcription révèlent du texte que les classificateurs visuels ou acoustiques ne détectent pas, mais ils introduisent des erreurs de reconnaissance et peuvent traiter des informations sensibles. Enregistrez le niveau de confiance, la langue et la position dans la source pour que les règles en aval puissent tenir compte de l’incertitude.

Normalisez les catégories des fournisseurs dans un vocabulaire interne au moyen d’un adaptateur versionné. Conservez la réponse originale selon des conditions de conservation restreintes lorsque le débogage le nécessite, mais exposez des codes de motif internes stables à la plupart des composants de l’application. Cela empêche qu’un changement de champ ou d’étiquette chez un fournisseur modifie silencieusement l’application des règles et facilite la comparaison de plusieurs services spécialisés.

Créer des parcours d’examen, de recours et de gouvernance

Orientez les cas ambigus, à fort impact, inédits ou présentant des résultats contradictoires vers des examinateurs. Présentez les éléments probants pertinents, la source, la section de la politique, les versions des modèles et les décisions antérieures, tout en masquant les données personnelles sans rapport avec le cas. Hiérarchisez les files selon la gravité et l’impact sur les utilisateurs, configurez des alertes d’ancienneté et définissez des règles d’escalade. Certaines actions peuvent nécessiter un second examinateur ou l’autorisation d’un spécialiste.

Les décisions automatisées nécessitent une voie de recours adaptée à leurs conséquences pour l’utilisateur. Communiquez un motif clair, expurgé des données sensibles, et prévoyez un recours lorsque la politique ou la loi l’exige. Les recours devraient ajouter une nouvelle décision tout en préservant l’historique d’origine. L’infirmation d’une décision peut rétablir la publication, lever une sanction appliquée à un compte ou déclencher un retraitement, chaque action passant par une opération idempotente.

Désignez des responsables pour la politique, les modèles, l’exploitation, la sécurité, l’examen juridique et l’assistance aux utilisateurs. L’automatisation exécute leurs règles documentées, mais ne peut pas décider quelles règles sont légitimes. Versionnez les modifications de la politique, obtenez une approbation avant leur déploiement et conservez une piste d’audit. Les commandes d’urgence devraient permettre de suspendre la publication ou de revenir sur une règle défectueuse sans supprimer les éléments probants nécessaires à la compréhension de l’incident.

Sécuriser, tester et observer la chaîne de traitement

Réservez l’accès aux médias en quarantaine et aux enregistrements de modération aux services et examinateurs autorisés. Utilisez des accès de courte durée, le chiffrement, des informations d’identification à portée limitée et des actions d’administration auditées. Vérifiez les signatures des webhooks et validez les schémas des charges utiles avant d’accepter les résultats. Évitez de copier du contenu sensible dans les journaux, les alertes, les messages des files ou les outils d’assistance, et définissez des calendriers de suppression pour les éléments probants et les données des fournisseurs.

Testez chaque couche indépendamment avec des données de test valides, mal formées, mal étiquetées, malveillantes à des fins de test, à la limite des règles, ainsi qu’avec des données de test bénignes ressemblant à une infraction. Simulez des dépassements de délai, une exécution partielle des classificateurs, des événements dupliqués ou réordonnés, des résultats tardifs, des défaillances de destination, des décisions infirmées par les examinateurs et une suppression pendant le traitement. Les tests de contrat des adaptateurs de fournisseurs devraient détecter les changements de schéma sans dépendre de la valeur exacte d’étiquettes non déterministes.

Surveillez le débit, l’ancienneté des éléments en file, les nombres d’enregistrements par état terminal, les taux de nouvelles tentatives, la latence des classificateurs, les examens en attente, les taux de décisions infirmées et le coût par version du flux de travail. Déclenchez des alertes en cas de changements de distribution comme en cas d’erreurs avérées. La contre-pression devrait limiter les tâches admises lorsque les classificateurs ou les examinateurs ne peuvent pas suivre le rythme. La planification de capacité doit inclure les pics, le retraitement après modification de la politique et l’effort opérationnel nécessaire à la résolution des éléments placés en file de lettres mortes.