Filtra imágenes inapropiadas automáticamente con Transloadit

Joseph Grabski

Responsable de contenidos · Rochester, Reino Unido · Mostrar bio

La moderación manual de contenido puede ser increíblemente ineficiente y costosa, sobre todo para plataformas con grandes volúmenes de contenido generado por los usuarios. Por suerte, a menudo es posible realizar la mayor parte de este trabajo de forma automática. Herramientas como el Robot /image/describe de Transloadit facilitan filtrar el contenido explícito sin ninguna intervención humana, lo que permite que tus moderadores hagan su trabajo con mayor eficacia. Entremos en materia y veamos cómo funciona.

¿Por qué son importantes los filtros de contenido inapropiado (NSFW)?

Antes de entrar en los detalles técnicos, repasemos brevemente por qué los filtros de contenido inapropiado son tan importantes:

1. Protección de los usuarios: mantener un entorno seguro para todos los usuarios, sobre todo si tu plataforma busca ser apta para niños.
2. Seguridad de la marca: proteger la reputación de tu marca frente a usuarios que publican contenido inapropiado.
3. Cumplimiento legal: cumplir los requisitos de regulación de contenido, que pueden ser estrictos en lugares como la UE.
4. Experiencia de usuario: mejorar la satisfacción general de los usuarios, ya que la mayoría prefiere no encontrarse con contenido sangriento o desnudos mientras navega.

Como ves, hay muchas razones para tomarse en serio la moderación del contenido de tus imágenes. Sin embargo, asignar esta tarea a personas dista mucho de ser lo ideal, por decirlo suavemente. Revisar manualmente un gran volumen de imágenes puede llevar mucho tiempo en el mejor de los casos, y resultar traumatizante en el peor.

Quizá se pueda hacer algo al respecto…

Automatizar el proceso de moderación de contenido

Los filtros de contenido inapropiado y la moderación de contenido han sido un reto notorio para muchas plataformas en línea. Sin embargo, gracias a los avances en el aprendizaje automático, la clasificación de imágenes ahora se puede automatizar en gran medida. Esto es precisamente lo que aprovecha internamente el Robot /image/describe de Transloadit. Más concretamente, usamos servicios de aprendizaje automático de AWS y GCP para asegurar que tus imágenes se clasifiquen con los modelos más sofisticados disponibles.

Entonces, ¿cómo puedes usar esto para evitar que las imágenes inapropiadas lleguen a tu sitio?

Aprovechar el Robot /image/describe

El Robot /image/describe de Transloadit puede analizar imágenes y ofrecer descripciones detalladas que podemos usar para identificar contenido potencialmente inapropiado. Después combinamos esas descripciones con el Robot /file/filter para descartar cualquier imagen que contenga etiquetas explícitas que no queremos permitir.

Aquí tienes una Assembly de ejemplo:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "!=", ""]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Esta Assembly hace lo siguiente:

1. Gestiona el archivo subido.
2. Analiza la imagen con AWS Rekognition⁠.
3. Filtra las imágenes que contengan palabras clave explícitas (que puedes consultar aquí⁠ para AWS y aquí⁠ para GCP).
4. Almacena las imágenes en S3, si todas las imágenes superan el filtro.

Mejorar tu bloqueador de contenido inapropiado

Por supuesto, este enfoque puede resultarte demasiado amplio. Muchos sitios permiten cierto contenido inapropiado, pero no todo. Por eso, para algunos puede ser mejor estrategia usar un filtrado con palabras clave personalizadas.

Mira el siguiente ejemplo:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "includes", "Visually Disturbing"]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Una vez más seguimos el mismo patrón que antes, salvo que esta vez, en lugar de buscar cualquier descriptor explícito, solo filtramos las imágenes con contenido visualmente perturbador. Como es natural, puedes ajustarlo a las necesidades de tu sitio, según el tipo de contenido que quieras permitir.

Conclusión

Si usas el Robot /image/describe de Transloadit, puedes crear un filtro robusto de contenido inapropiado para mantener un entorno en línea seguro.

¿Quieres más? Hemos tratado la moderación de contenido a fondo en nuestros blogs anteriores. Así que, si te preguntas en qué centrarte a continuación, ¿por qué no echas un vistazo a cómo difuminar caras en fotos automáticamente?