Use a Transloadit para filtrar imagens NSFW automaticamente

Joseph Grabski

Líder de conteúdo · Rochester, Reino Unido · Mostrar biografia

A moderação manual de conteúdo pode ser extremamente ineficiente e cara, principalmente para plataformas com grandes volumes de conteúdo gerado por usuários. Felizmente, muitas vezes é possível fazer a maior parte desse trabalho automaticamente. Ferramentas como o Robot /image/describe da Transloadit facilitam a filtragem de conteúdo explícito sem nenhuma intervenção humana, permitindo que seus moderadores façam o trabalho deles de forma mais eficaz. Vamos ver como isso funciona.

Por que os filtros NSFW são importantes?

Antes de entrar nos detalhes técnicos, vamos ver rapidamente por que os filtros NSFW são tão importantes:

1. Proteção dos usuários: mantenha um ambiente seguro para todos os usuários, especialmente se sua plataforma pretende ser adequada para crianças.
2. Segurança da marca: proteja a reputação da sua marca contra usuários que publicam conteúdo impróprio.
3. Conformidade legal: atenda às exigências de regulamentação de conteúdo, que podem ser rígidas em lugares como a UE.
4. Experiência do usuário: aumente a satisfação geral dos usuários, já que a maioria prefere não se deparar com violência explícita ou nudez enquanto navega.

Como você pode ver, há muitos motivos para levar a sério a moderação do seu conteúdo de imagens. Deixar essa tarefa para pessoas, porém, está longe de ser o ideal, para dizer o mínimo. Analisar manualmente um grande volume de imagens pode levar muito tempo nas melhores circunstâncias e ser traumatizante nas piores.

Talvez haja algo a ser feito a respeito…

Automatizando o processo de moderação de conteúdo

Filtros NSFW e moderação de conteúdo são notoriamente desafiadores para muitas plataformas online. No entanto, graças aos avanços em aprendizado de máquina, a classificação de imagens agora pode ser amplamente automatizada. É exatamente isso que o Robot /image/describe da Transloadit utiliza por baixo dos panos. Mais especificamente, usamos os serviços de ML da AWS e do GCP para garantir que suas imagens sejam classificadas com os modelos mais sofisticados disponíveis.

Então, como você pode usar isso para impedir que imagens NSFW cheguem ao seu site?

Aproveitando o Robot /image/describe

O Robot /image/describe da Transloadit pode analisar imagens e fornecer descrições detalhadas, que podemos usar para identificar conteúdo potencialmente NSFW. Em seguida, combinamos essas descrições com o Robot /file/filter para descartar quaisquer imagens que contenham tags explícitas que não queremos permitir.

Veja um exemplo de Assembly:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "!=", ""]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Esta Assembly faz o seguinte:

1. Processa o arquivo enviado.
2. Analisa a imagem usando o AWS Rekognition⁠.
3. Filtra as imagens que contenham quaisquer palavras-chave explícitas (que você encontra aqui⁠ para a AWS e aqui⁠ para o GCP).
4. Armazena as imagens no S3, se todas forem aprovadas.

Aprimorando seu bloqueador de NSFW

Claro, essa abordagem pode ser abrangente demais para você. Muitos sites permitem algum conteúdo NSFW, mas não todo. Por isso, para alguns, uma estratégia melhor pode ser usar uma filtragem por palavras-chave personalizadas.

Confira o exemplo abaixo:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "includes", "Visually Disturbing"]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Mais uma vez, seguimos o mesmo padrão de antes, mas desta vez, em vez de verificar quaisquer descritores explícitos, filtramos apenas as imagens com conteúdo visualmente perturbador. Naturalmente, você pode ajustar isso às necessidades do seu site, dependendo do tipo de conteúdo que deseja permitir.

Conclusão

Ao usar o Robot /image/describe da Transloadit, você pode criar um filtro NSFW robusto para manter um ambiente online seguro.

Quer saber mais? Já falamos bastante sobre moderação de conteúdo em posts anteriores do nosso blog. Então, se você está pensando no que explorar a seguir, por que não conferir como desfocar rostos em fotos automaticamente?