Utiliser Transloadit pour filtrer automatiquement les images NSFW

Joseph Grabski

Responsable du contenu · Rochester, Royaume-Uni · Afficher la bio

La modération manuelle des contenus peut être extrêmement inefficace et coûteuse, en particulier pour les plateformes qui reçoivent de gros volumes de contenus générés par les utilisateurs. Heureusement, il est souvent possible d’automatiser l’essentiel de ce travail. Des outils comme le Robot /image/describe de Transloadit permettent de filtrer facilement les contenus explicites sans aucune intervention humaine, ce qui aide vos modérateurs à faire leur travail plus efficacement. Voyons comment cela fonctionne.

Pourquoi les filtres NSFW sont-ils importants ?

Avant d’entrer dans les détails techniques, voyons brièvement pourquoi les filtres NSFW sont si importants :

1. Protection des utilisateurs : maintenez un environnement sûr pour tous les utilisateurs, surtout si votre plateforme se veut adaptée aux enfants.
2. Sécurité de la marque : protégez la réputation de votre marque contre les utilisateurs qui publient des contenus inappropriés.
3. Conformité légale : respectez les exigences de réglementation des contenus, qui peuvent être strictes dans des régions comme l’UE.
4. Expérience utilisateur : améliorez la satisfaction globale des utilisateurs, car la plupart d’entre eux préfèrent ne pas tomber sur des scènes sanglantes ou de la nudité pendant leur navigation.

Comme vous pouvez le constater, les raisons de prendre au sérieux la modération de vos images ne manquent pas. Confier cette tâche à des humains est toutefois loin d’être idéal, c’est le moins que l’on puisse dire. Passer manuellement en revue un grand nombre d’images peut être chronophage dans le meilleur des cas, et traumatisant dans le pire.

Peut-être y a-t-il quelque chose à faire à ce sujet…

Automatiser le processus de modération des contenus

Les filtres NSFW et la modération des contenus représentent un défi notoire pour de nombreuses plateformes en ligne. Cependant, grâce aux progrès de l’apprentissage automatique, la classification d’images peut désormais être en grande partie automatisée. C’est précisément ce sur quoi s’appuie en coulisses le Robot /image/describe de Transloadit. Plus précisément, nous utilisons les services de ML d’AWS et de GCP pour que vos images soient classées à l’aide des modèles les plus sophistiqués disponibles.

Alors, comment l’utiliser pour empêcher les images NSFW d’atteindre votre site ?

Tirer parti du Robot /image/describe

Le Robot /image/describe de Transloadit peut analyser des images et fournir des descriptions détaillées, que nous pouvons utiliser pour identifier les contenus potentiellement NSFW. Nous combinons ensuite ces descriptions avec le Robot /file/filter pour écarter toute image contenant des tags explicites que nous ne voulons pas autoriser.

Voici un exemple d’Assembly :

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "!=", ""]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Cette Assembly effectue les opérations suivantes :

1. Elle traite le fichier envoyé.
2. Elle analyse l’image à l’aide d’AWS Rekognition⁠.
3. Elle écarte les images qui contiennent l’un des mots-clés explicites (disponibles ici⁠ pour AWS et ici⁠ pour GCP).
4. Elle stocke les images dans S3, si elles passent toutes le filtre.

Améliorer votre bloqueur NSFW

Bien sûr, cette approche peut être trop large pour vous. De nombreux sites autorisent une partie des contenus NSFW, mais pas leur totalité. C’est pourquoi, pour certains, une meilleure stratégie pourrait consister à utiliser un filtrage par mots-clés personnalisés.

Consultez l’exemple ci-dessous :

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "includes", "Visually Disturbing"]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Une fois de plus, nous suivons le même schéma que précédemment, à ceci près que cette fois, au lieu de vérifier la présence de descripteurs explicites, nous filtrons uniquement les images au contenu visuellement dérangeant. Naturellement, vous pouvez affiner ce réglage selon les besoins de votre site, en fonction du type de contenu que vous souhaitez autoriser.

Conclusion

En utilisant le Robot /image/describe de Transloadit, vous pouvez créer un filtre NSFW robuste pour maintenir un environnement en ligne sûr.

Vous en voulez plus ? Nous avons abondamment traité de la modération des contenus dans nos précédents articles de blog. Si vous vous demandez sur quoi vous pencher ensuite, pourquoi ne pas découvrir comment flouter automatiquement les visages sur des photos ?