Moderação automatizada de conteúdo: arquitetura e gestão de erros

Separe os controles determinísticos da inferência aplicada à política

A moderação automatizada é um sistema de controle em camadas. As verificações determinísticas respondem a perguntas como se um arquivo excede um limite, tem um tipo permitido, é analisado corretamente ou contém malware detectado. Os classificadores probabilísticos estimam se uma mídia se assemelha a categorias aprendidas por um modelo. Em seguida, um mecanismo de políticas decide o que esses fatos e estimativas significam para uma determinada área do produto.

Manter as camadas separadas melhora as explicações e a recuperação. Uma imagem corrompida deve falhar na validação com uma mensagem corretiva, enquanto uma imagem ambígua deve entrar em revisão. Combinar os dois resultados em um estado genérico de “nocivo” dificulta o suporte e pode ocultar falhas de segurança. Isso também impede que as equipes substituam um classificador ou alterem a política sem redesenhar todo o fluxo de entrada.

Use uma máquina de estados de moderação durável

Crie um registro de moderação antes de o trabalho assíncrono começar. Armazene a identidade e o checksum do arquivo de origem, a versão da política, as verificações obrigatórias, o estado atual, as contagens de tentativas e os identificadores de tarefas externas. Estados úteis incluem recebido, em validação, em varredura, em classificação, aguardando revisão, permitido, bloqueado, com falha e expirado. Diferencie uma falha técnica de um bloqueio por política, porque usuários e operadores precisam de vias de reparação diferentes.

Cada transição deve usar uma atualização condicional ou uma transação que verifique o estado anterior esperado. Registre uma chave de evento para que callbacks duplicados não avancem o registro duas vezes. Uma decisão terminal pode enfileirar a publicação ou a exclusão por meio de um outbox. Isso impede que um efeito colateral externo ocorra antes que o banco de dados contenha a decisão que o autorizou.

As saídas dos modelos devem ficar em registros de sinais versionados, e não em colunas mutáveis sem histórico. Preserve o provedor, a versão do modelo ou da regra, o timestamp, a categoria, a pontuação, a variante de entrada e a posição relevante no conteúdo analisado, como uma marcação de tempo no vídeo. O registro de decisão deve apontar para os sinais que utilizou. Isso viabiliza recursos, auditorias, reprocessamento seletivo e comparações depois que um provedor muda.

Ordene as verificações por custo e certeza

Execute as verificações baratas que podem encerrar o fluxo de trabalho antes de etapas custosas. Imponha o tamanho e o tipo de upload permitidos, inspecione a estrutura da mídia, faça a varredura de malware e compare com hashes proibidos conhecidos antes de acionar a análise de quadros, a transcrição ou vários classificadores. Essa ordem reduz custos e limita o tempo que arquivos perigosos ou malformados permanecem em processamento ativo.

Uma Assembly da Transloadit pode combinar /file/filter, /file/virusscan, extração de metadados, normalização de formato e os sinais suportados de /image/describe. Use dependências explícitas entre Steps para a ordem obrigatória e ramificações independentes para verificações que podem ser executadas simultaneamente. A aplicação precisa agregar os resultados em seu registro de moderação e usar serviços especializados para mídias ou categorias de política não suportadas.

Mantenha o arquivo de origem em quarentena durante toda a sequência. Uma transformação bem-sucedida não implica uma decisão de moderação bem-sucedida, e uma miniatura gerada não pode se tornar pública enquanto outra verificação obrigatória estiver pendente. Exporte somente os arquivos autorizados por uma decisão durável de permitir ou restringir. A Transloadit executa o processamento configurado, enquanto a aplicação é responsável pelo estado da política e da publicação.

Projete explicitamente as novas tentativas e o comportamento durante indisponibilidades

Classifique as falhas como transitórias, permanentes ou indeterminadas. Timeouts de rede e limites de taxa podem justificar um número limitado de novas tentativas com backoff e jitter. Formatos não suportados e credenciais inválidas geralmente exigem correção, não repetição. Defina um número máximo de tentativas e um prazo para que um registro não fique em ciclo indefinidamente enquanto acumula custos.

Toda operação repetida precisa de uma estratégia de idempotência. Derive uma chave de operação estável a partir da origem, do tipo de verificação, da versão da política ou do fluxo de trabalho e dos parâmetros relevantes. Antes de repetir uma exportação ou uma ação de aplicação de regras, reconcilie o estado para confirmar se ela já foi concluída com sucesso. Callbacks só devem ser confirmados depois que o resultado for registrado de forma durável, e um callback já processado deve receber uma resposta de sucesso sem repetir efeitos colaterais.

Envie trabalhos que esgotaram as tentativas ou que estão malformados para uma fila de mensagens mortas (dead-letter queue), com a referência da origem, a classe de falha, o erro sanitizado, o histórico de tentativas, a versão do fluxo de trabalho e o responsável. Uma fila sem alerta, sem ferramenta de inspeção e sem procedimento controlado de reprocessamento apenas esconde falhas. O reprocessamento deve verificar novamente o estado atual para que uma tarefa antiga não possa publicar conteúdo que foi bloqueado ou excluído posteriormente.

Combine sinais de mídia sem perder o contexto

Texto, imagem, áudio e vídeo exigem evidências diferentes. Em um vídeo, mantenha separadamente os rótulos de quadros com marcas de tempo, as classificações da transcrição com intervalos de tempo, os sinais de eventos de áudio e os metadados no nível do arquivo. Um agregador de políticas pode então aplicar regras como: um único sinal grave leva à revisão, ou vários sinais mais fracos aumentam o risco. Não calcule a média de pontuações sem relação entre si para chegar a um valor que ninguém consegue interpretar.

A correspondência de hashes detecta rapidamente bytes conhecidos, enquanto o hashing perceptual pode encontrar semelhanças mesmo após transformações. Nenhum dos dois detecta novas violações de política de forma confiável, e correspondências perceptuais podem precisar de revisão. OCR e transcrição revelam textos que classificadores visuais ou acústicos não captam, mas introduzem erros de reconhecimento e podem processar informações sensíveis. Registre a confiança, o idioma e a posição no material de origem para que as regras posteriores possam levar a incerteza em conta.

Normalize as categorias dos provedores em um vocabulário interno por meio de um adaptador versionado. Preserve a resposta original com retenção restrita quando isso for necessário para depuração, mas exponha códigos de motivo internos e estáveis à maioria dos componentes da aplicação. Isso evita que uma mudança em um campo ou rótulo do provedor altere silenciosamente a aplicação das regras e facilita a comparação entre vários serviços especializados.

Crie caminhos de revisão, recurso e governança

Encaminhe casos ambíguos, de alto impacto, inéditos ou conflitantes para revisores. Mostre as evidências relevantes, a origem, a seção da política, as versões dos modelos e as decisões anteriores, sem exibir dados pessoais não relacionados. Priorize as filas por gravidade e impacto no usuário, configure alertas de tempo de espera e defina regras de escalonamento. Determinadas ações podem exigir um segundo revisor ou a autorização de um especialista.

Decisões automatizadas precisam oferecer ao usuário uma via de reparação proporcional às suas consequências. Comunique um motivo claro e sanitizado e ofereça um canal de recurso quando a política ou a lei o exigir. Os recursos devem acrescentar uma nova decisão e preservar o histórico original. Uma reversão pode restaurar a publicação, reverter uma penalidade na conta ou acionar um reprocessamento, cada uma por meio de uma operação idempotente.

Defina responsáveis por política, modelos, operações, segurança, revisão jurídica e suporte ao usuário. A automação executa as regras documentadas por eles, mas não pode decidir quais regras são legítimas. Versione as mudanças de política, obtenha aprovação antes da implantação e mantenha uma trilha de auditoria. Controles de emergência devem pausar a publicação ou reverter uma regra defeituosa sem excluir as evidências necessárias para entender o incidente.

Proteja, teste e observe o pipeline

Restrinja o acesso a mídias em quarentena e a registros de moderação a serviços e revisores autorizados. Use acesso de curta duração, criptografia, credenciais com escopo limitado e ações administrativas auditadas. Verifique as assinaturas de webhooks e valide os esquemas dos payloads antes de aceitar resultados. Evite copiar conteúdo sensível para logs, alertas, mensagens de fila ou ferramentas de suporte e defina prazos de exclusão para evidências e dados de provedores.

Teste cada camada de forma independente com dados de teste válidos, malformados, com rótulos incorretos, maliciosos criados apenas para teste, limítrofes e benignos que se parecem com violações. Simule timeouts, conclusão parcial dos classificadores, eventos duplicados e fora de ordem, resultados atrasados, falhas no destino, reversões feitas por revisores e exclusões durante o processamento. Testes de contrato para adaptadores de provedores devem detectar mudanças de esquema sem depender de rótulos exatos e não determinísticos.

Monitore a vazão, a idade das filas, a contagem de estados terminais, as taxas de novas tentativas, a latência dos classificadores, as revisões pendentes, as taxas de reversão e o custo por versão do fluxo de trabalho. Configure alertas para mudanças de distribuição, além de erros explícitos. A contrapressão (backpressure) deve limitar o trabalho admitido quando classificadores ou revisores não conseguirem acompanhar o ritmo. O planejamento de capacidade deve incluir picos, reprocessamento após mudanças de política e o esforço operacional necessário para resolver itens enviados à fila de mensagens mortas.