Automatización de flujos de trabajo

# Moderación automatizada de contenido: diseño y gestión de fallos

Crea una moderación automatizada por capas con comprobaciones de archivos, clasificadores, decisiones de política y colas de revisión.

Publicado el 11 de agosto de 2026

## Conclusiones clave

* Aplica una validación determinista con bajo consumo de recursos antes de la costosa inferencia del modelo.
* Normaliza las respuestas del proveedor según un vocabulario interno de políticas.
* Haz que los reintentos sean idempotentes y evita publicar antes de que finalicen todas las comprobaciones obligatorias.

La moderación automatizada es más confiable cuando las comprobaciones deterministas sencillas y los clasificadores probabilísticos tienen funciones separadas. Un archivo con formato incorrecto, malware conocido, un tipo no compatible y una imagen ambigua no deben compartir la misma ruta de error opaca.

## En esta guía

1. [Separa los controles deterministas de la inferencia de políticas](#automated-content-moderation-section-1)
2. [Usa una máquina de estados de moderación persistente](#automated-content-moderation-section-2)
3. [Ordena las comprobaciones por costo y certeza](#automated-content-moderation-section-3)
4. [Diseña explícitamente los reintentos y el comportamiento ante interrupciones](#automated-content-moderation-section-4)
5. [Combina las señales multimedia sin perder el contexto](#automated-content-moderation-section-5)
6. [Crea rutas de revisión, apelación y gobernanza](#automated-content-moderation-section-6)
7. [Protege, prueba y observa el pipeline](#automated-content-moderation-section-7)

## Lo más importante

* Proporciona a los revisores el original, los derivados pertinentes, las señales y el contexto de la política.

## Separa los controles deterministas de la inferencia de políticas

La moderación automatizada es un sistema de control por capas. Las comprobaciones deterministas responden preguntas como si un archivo supera un límite, tiene un tipo permitido, puede analizarse correctamente o contiene malware detectado. Los clasificadores probabilísticos estiman si los medios se parecen a categorías aprendidas por un modelo. Luego, un motor de políticas decide qué significan esos hechos y estimaciones para un área específica del producto.

Mantener las capas separadas mejora las explicaciones y la recuperación. Una imagen dañada debe fallar durante la validación con un mensaje que indique cómo corregir el problema, mientras que una imagen ambigua debe pasar a revisión. Combinar ambos resultados en un estado genérico de contenido no seguro dificulta el soporte y puede ocultar fallos de seguridad. También impide que los equipos sustituyan un clasificador o cambien la política sin rediseñar toda la ruta de recepción.

### Capa de validación

Rechaza las entradas que infringen restricciones técnicas o no pueden procesarse de forma segura.

### Capa de señales

Ejecuta comparaciones de hashes, clasificadores, OCR, transcripciones u otros análisis, y conserva su procedencia.

### Capa de políticas

Asigna las señales normalizadas y el contexto relevante a uno de estos estados: permitir, bloquear, restringir o revisar.

### Capa de ejecución

Publica, pone en cuarentena, notifica o elimina solo después de que la decisión se haya guardado de forma persistente.

## Usa una máquina de estados de moderación persistente

Crea un registro de moderación antes de que comience el trabajo asíncrono. Almacena la identidad y la suma de comprobación de la fuente, la versión de la política, las comprobaciones requeridas, el estado actual, el número de intentos y los identificadores de tareas externas. Entre los estados útiles se incluyen recibido, en validación, en análisis, en clasificación, pendiente de revisión, permitido, bloqueado, fallido y vencido. Distingue un fallo técnico de un bloqueo por políticas, porque los usuarios y los operadores necesitan soluciones diferentes.

Cada transición debe usar una actualización condicional o una transacción que verifique el estado anterior esperado. Registra una clave de evento para impedir que los callbacks duplicados hagan avanzar el registro dos veces. Una decisión terminal puede poner en cola la publicación o eliminación mediante un patrón outbox. Esto evita que se produzca un efecto externo antes de que la base de datos contenga la decisión que lo autorizó.

Las salidas del modelo deben guardarse en registros de señales versionados, no en columnas mutables sin historial. Conserva el proveedor, la versión del modelo o de la regla, la marca de tiempo, la categoría, la puntuación, la variante de entrada y una ubicación pertinente, como una marca de tiempo del video. El registro de decisión debe apuntar a las señales utilizadas. Esto facilita las apelaciones, las auditorías, el reprocesamiento selectivo y las comparaciones posteriores a un cambio de proveedor.

## Ordena las comprobaciones por costo y certeza

Ejecuta comprobaciones de bajo costo que puedan finalizar el flujo de trabajo antes de las tareas costosas. Aplica los límites de tamaño y tipo de subida, inspecciona la estructura de los medios, analiza en busca de malware y compara hashes prohibidos conocidos antes de invocar el análisis de fotogramas, la transcripción o varios clasificadores. Este orden reduce el costo y limita el tiempo que los archivos peligrosos o con formato incorrecto permanecen en procesamiento activo.

Una Assembly de Transloadit puede combinar `/file/filter`, `/file/virusscan`, la extracción de metadatos, la normalización de formatos y las señales compatibles de `/image/describe`. Usa dependencias explícitas entre Steps para imponer el orden obligatorio y ramas independientes para las comprobaciones que puedan ejecutarse en paralelo. La aplicación debe agregar los resultados a su registro de moderación y usar servicios especializados para medios o categorías de políticas no compatibles.

Mantén la fuente en cuarentena durante toda la secuencia. Una transformación correcta no implica una decisión de moderación satisfactoria, y una miniatura generada no debe hacerse pública mientras esté pendiente otra comprobación requerida. Exporta solo los archivos que autorice una decisión persistente de permitir o restringir. Transloadit realiza el procesamiento configurado, mientras que la aplicación controla la política y el estado de publicación.

### Interrumpir de inmediato ante un rechazo permanente

Detén el trabajo posterior cuando una validación decisiva o una regla de detección de malware haga innecesario el análisis posterior.

### Procesar en paralelo señales independientes

Ejecuta simultáneamente los clasificadores no relacionados cuando la reducción de la latencia justifique la carga adicional.

### Agregar una sola vez

Deja que un único componente de políticas evalúe las señales completadas, en lugar de permitir que cada callback del proveedor publique de forma independiente.

## Diseña explícitamente los reintentos y el comportamiento ante interrupciones

Clasifica los fallos como transitorios, permanentes o indeterminados. Los tiempos de espera agotados de la red y los límites de frecuencia de solicitudes pueden justificar reintentos limitados con espera progresiva y variación aleatoria. Los formatos no compatibles y las credenciales no válidas generalmente requieren una corrección, no una repetición. Establece un número máximo de intentos y un plazo para que ningún registro pueda permanecer en un ciclo indefinido mientras acumula costos.

Cada operación que se reintenta necesita una estrategia de idempotencia. Deriva una clave de operación estable a partir del origen, el tipo de comprobación, la versión de la política o del flujo de trabajo y los parámetros pertinentes. Antes de repetir una acción de exportación o de aplicación de medidas, comprueba si ya se completó correctamente. Los callbacks solo deben confirmarse después de que su resultado se registre de forma persistente, mientras que un callback procesado previamente debe recibir una respuesta satisfactoria sin repetir efectos secundarios.

Envía los trabajos agotados o malformados a una cola de mensajes no procesables con la referencia de origen, la clase de fallo, el error saneado, el historial de intentos, la versión del flujo de trabajo y el responsable. Una cola sin una alerta, una herramienta de inspección y un procedimiento controlado de reejecución solo oculta los fallos. La reejecución debe volver a comprobar el estado actual para que una tarea antigua no pueda publicar contenido que posteriormente se bloqueó o eliminó.

## Combina las señales multimedia sin perder el contexto

El texto, las imágenes, el audio y el video requieren evidencias diferentes. Para un video, conserva por separado las etiquetas de fotogramas con marcas de tiempo, las clasificaciones de la transcripción con intervalos de tiempo, las señales de eventos de audio y los metadatos del archivo. Un agregador de políticas puede aplicar entonces reglas como hacer que una señal grave provoque una revisión o que varias señales más débiles aumenten el riesgo. No promedies puntuaciones no relacionadas para obtener un valor que nadie pueda interpretar.

La comparación de hashes detecta rápidamente bytes conocidos, mientras que el hash perceptual permite encontrar similitudes tras una transformación. Ninguno detecta de forma confiable nuevas infracciones de las políticas, y las coincidencias perceptuales pueden requerir revisión. El reconocimiento óptico de caracteres (OCR) y la transcripción revelan texto que los clasificadores visuales o acústicos no detectan, pero introducen errores de reconocimiento y pueden procesar información sensible. Registra la confianza, el idioma y la ubicación en la fuente para que las reglas posteriores puedan tener en cuenta la incertidumbre.

Normaliza las categorías de los proveedores en un vocabulario interno mediante un adaptador con control de versiones. Cuando sea necesario para depurar, conserva la respuesta original con una retención restringida, pero expón códigos internos de motivo estables a la mayoría de los componentes de la aplicación. Esto evita que un cambio en un campo o una etiqueta del proveedor altere silenciosamente la aplicación de las políticas y facilita la comparación entre varios servicios especializados.

## Crea rutas de revisión, apelación y gobernanza

Envía a los revisores los casos ambiguos, de alto impacto, novedosos o contradictorios. Muestra las evidencias pertinentes, la fuente, la sección de la política, las versiones de los modelos y las decisiones anteriores, pero oculta los datos personales no relacionados. Prioriza las colas según la gravedad y el impacto en los usuarios, configura alertas por antigüedad y define reglas de escalamiento. Algunas acciones pueden requerir un segundo revisor o la autorización de un especialista.

Las decisiones automatizadas necesitan una vía de reparación para el usuario que sea adecuada a sus consecuencias. Comunica un motivo claro y saneado, y proporciona una vía de apelación cuando la política o la ley lo requieran. Las apelaciones deben agregar una nueva decisión y conservar el historial original. Una revocación puede restablecer la publicación, anular una penalización de la cuenta o iniciar un nuevo procesamiento, en cada caso mediante una operación idempotente.

Asigna responsables de las políticas, los modelos, las operaciones, la seguridad, la revisión legal y el soporte a los usuarios. La automatización ejecuta sus reglas documentadas, pero no puede decidir cuáles son legítimas. Controla las versiones de los cambios en las políticas, obtén aprobación antes del despliegue y conserva un registro de auditoría. Los controles de emergencia deben permitir pausar la publicación o revertir una regla defectuosa sin eliminar las evidencias necesarias para comprender el incidente.

## Protege, prueba y observa el pipeline

Restringe el acceso a los recursos en cuarentena y a los registros de moderación a los servicios y revisores autorizados. Usa accesos de corta duración, cifrado, credenciales con permisos restringidos y acciones administrativas auditadas. Verifica las firmas de los webhooks y valida los esquemas de los payloads antes de aceptar los resultados. Evita copiar contenido sensible en registros, alertas, mensajes de cola o herramientas de soporte, y define calendarios de eliminación para las evidencias y los datos de los proveedores.

Prueba cada capa de forma independiente con datos de prueba válidos, malformados, etiquetados incorrectamente, maliciosos para fines de prueba, casos límite y datos benignos que parecen sospechosos. Simula tiempos de espera agotados, finalización parcial del clasificador, eventos duplicados y reordenados, resultados tardíos, fallos en los destinos, revocaciones de decisiones por parte de revisores y eliminación durante el procesamiento. Las pruebas de contrato para adaptadores de proveedores deben detectar cambios en el esquema sin depender de etiquetas no deterministas exactas.

Supervisa el rendimiento, la antigüedad de la cola, los recuentos de estados terminales, las tasas de reintentos, la latencia del clasificador, los elementos pendientes de revisión, las tasas de revocación y el costo por versión del flujo de trabajo. Configura alertas tanto para cambios en las distribuciones como para errores manifiestos. La contrapresión debe limitar el trabajo admitido cuando los clasificadores o revisores no puedan seguir el ritmo. La planificación de capacidad debe incluir los picos, el reprocesamiento tras cambios en las políticas y el esfuerzo operativo necesario para resolver los elementos enviados a la cola de mensajes no procesables.

## Detalles técnicos que conviene conocer

* El comportamiento en modo abierto ante fallos y en modo cerrado ante fallos constituye una decisión de producto: cuando un clasificador no está disponible, se puede retrasar contenido legítimo o exponer contenido que no se ha evaluado.
* El almacenamiento en cuarentena debería aislar los archivos no revisados de la entrega pública y, al mismo tiempo, conservar suficiente evidencia para la revisión, la apelación, la respuesta a incidentes y la eliminación controlada.
* Los reintentos necesitan un estado terminal y una ruta de mensajes no procesables. Invocar repetidamente un servicio no disponible o que falla de forma determinista puede aumentar el costo sin mejorar la seguridad.
* La comparación de hashes puede identificar archivos conocidos de forma eficiente, pero no se generaliza a material no visto y puede eludirse mediante transformaciones, a menos que se utilicen métodos perceptuales.
* Las políticas de texto, audio, imágenes y videos pueden requerir señales especializadas independientes que solo se combinen después de conservar el nivel de confianza y la procedencia de cada señal.
* Los registros de moderación deberían evitar reproducir contenido sensible sin necesidad y, al mismo tiempo, conservar suficientes referencias y evidencias de las políticas para una investigación autorizada.

## Un enfoque práctico

1. 1\
   Ordena las comprobaciones según el costo, la certeza y si un fallo vuelve innecesario el trabajo posterior.
2. 2\
   Define un único registro persistente de moderación vinculado a la fuente y a la ejecución del procesamiento.
3. 3\
   Dirige explícitamente los resultados de permitir, bloquear y revisar.
4. 4\
   Prueba escenarios de tiempo de espera agotado del proveedor, fallo parcial, evento duplicado y cambio de decisión.

Un flujo de trabajo multimedia de cuatro etapas

## Cuándo resulta útil Transloadit

Combina /file/filter, /file/virusscan, la extracción de metadatos, la normalización de formatos y las señales de moderación de /image/describe en una ruta de recepción gestionada por una Assembly. Usa un clasificador especializado para medios o categorías de políticas no compatibles y exporta únicamente después de que la aplicación registre una decisión de permitir el contenido.

## Límite de la arquitectura

La automatización ejecuta la política, pero no crea por sí sola una política legítima. Los responsables de asuntos legales, seguridad, soporte y producto deben definir el contenido prohibido y los mecanismos de reparación para los usuarios.

## Preguntas frecuentes

### ¿Cuál es la diferencia entre la moderación automatizada y la moderación con IA?

La moderación automatizada es el flujo de trabajo completo de validación, análisis, recopilación de señales, evaluación de políticas, revisión y aplicación de medidas. La moderación con IA es una fuente de señales probabilística dentro de ese flujo de trabajo. Las reglas deterministas, las decisiones humanas y los controles operativos siguen siendo necesarios incluso cuando se utilizan clasificadores.

### ¿Debe un pipeline de moderación adoptar un modo abierto o cerrado ante fallos durante una interrupción?

Elige el comportamiento para cada área del producto y cada comprobación. El modo cerrado ante fallos demora o suprime el contenido que no se ha evaluado, mientras que el modo abierto ante fallos preserva la disponibilidad, pero conlleva un riesgo de exposición. Un estado pendiente de cuarentena con reintentos limitados suele ser adecuado. Documenta la decisión y proporciona controles operativos para procesar el trabajo acumulado.

### ¿Qué información debe incluir un registro de moderación?

Almacena la identidad y la suma de comprobación de la fuente, las versiones de la política y del flujo de trabajo, las comprobaciones requeridas, las señales normalizadas y su procedencia, el historial de estados, las decisiones de los revisores, los enlaces de apelación, los ID de tareas externas y los efectos secundarios autorizados. El contenido confidencial sin procesar debe mantenerse protegido por separado y conservarse solo durante el tiempo necesario.

### ¿Cómo deben gestionarse los fallos permanentes de procesamiento?

Detén los reintentos automáticos, mueve el elemento a un estado controlado de fallo o a una cola de mensajes no procesables, alerta al responsable y conserva un diagnóstico saneado. Corrige la entrada, las credenciales o el flujo de trabajo antes de volver a procesarlo y verifica que el estado actual de su política aún permita el procesamiento.

### ¿Por qué la publicación debe estar separada de los callbacks del clasificador?

Los callbacks individuales pueden duplicarse, demorarse, llegar en otro orden o estar incompletos. Un agregador de políticas debe confirmar que todas las comprobaciones requeridas alcanzaron estados aceptables y registrar primero una única decisión. Después, la publicación puede consumir esa decisión persistente de forma idempotente, sin permitir que un proveedor eluda el resto del flujo de trabajo.

## Crea el flujo de trabajo

Pasa del concepto a una Assembly probada con documentación de Robots y demos funcionales.

### Robots relevantes

* [/file/filter](/es/docs/robots/file-filter.md)
* [/file/virusscan](/es/docs/robots/file-virusscan.md)
* [/image/describe](/es/docs/robots/image-describe.md)
* [Lee la documentación de la API](/es/docs.md)
* [Explora demos funcionales EN (English)](/demos.md)
* [Crea un Workspace gratuito](/c/signup/)

Automatización de flujos de trabajo

## Continúa con guías relacionadas

* [Guía completa de flujos de trabajo de recursos digitales](/es/guides/digital-asset-workflows.md)\
  Diseña un flujo de trabajo de recursos digitales desde la recepción y el procesamiento hasta la revisión, publicación, retención y eliminación.
* [Moderación de contenido con IA en un flujo de trabajo de subidas](/es/guides/ai-content-moderation-workflows.md)\
  Integra la moderación con IA en un flujo de trabajo controlado de subidas, con umbrales de confianza y revisión humana.
* [Análisis automatizado de imágenes: flujos de trabajo observables](/es/guides/automated-image-analysis.md)\
  Convierte el análisis de imágenes en un flujo de trabajo asíncrono y repetible, en lugar de una solicitud que bloquee la aplicación.
* [Automatización de medios: de la subida a resultados confiables](/es/guides/media-automation.md)\
  Automatiza la recepción, transformación, validación y exportación repetibles de medios, a la vez que preservas la observabilidad y el control.
* [Cómo convertir HTML a PDF a gran escala](/es/guides/convert-html-to-pdf.md)\
  Genera facturas, informes y recibos en PDF desde una URL o un HTML subido, y permite obtener el mismo resultado de forma reproducible.
