Colas

Los clientes pueden saturar nuestros sistemas en solo segundos con solicitudes válidas de procesamiento de archivos a gran escala. Para gestionar estos picos de forma eficiente y garantizar un servicio fluido para todos los clientes, hemos implementado mecanismos de colas.

¿Cómo funciona?

• Live Queue: Las cargas directas de archivos colocan los Encoding Jobs en la Live Queue para su procesamiento inmediato, que funciona como una vía rápida. Los Jobs de la Live Queue tienen prioridad sobre todos los demás Jobs. La Live Queue se comparte entre todos los clientes.
• Batch Queue: La Batch Queue es para Jobs más grandes que no requieren procesamiento en tiempo real. La clasificación automática por lotes depende del importador y de sus reglas de importación masiva, no simplemente del número total de archivos en una Assembly. Para elegir explícitamente la Batch Queue, establece "queue": "batch" en el Step. Los Jobs por lotes elegibles se ejecutan con menor prioridad usando la capacidad de workers disponible. Pueden ejecutarse mientras los Jobs de la Live Queue siguen en cola si esos Jobs de la Live Queue no pueden usar esa capacidad. La Batch Queue también se comparte entre todos los clientes.
• Transferencia automática: Si se envían demasiados Jobs a la Live Queue y superas la cantidad de cupos prioritarios de tu plan de suscripción, los Jobs pasarán gradualmente a la cola de respaldo para no afectar el rendimiento de otros clientes en la Live Queue. Se devolverán a la Live Queue en cuanto se completen algunos de tus Jobs de la Live Queue y se liberen así los cupos prioritarios de tu Workspace.
• Cola de respaldo: Del mismo modo, si se envían demasiados Jobs por lotes, también pasarán gradualmente a una cola de respaldo y se volverán a encolar en la Batch Queue compartida en cuanto se completen algunos de tus Jobs por lotes y se liberen así los cupos para Jobs por lotes de tu Workspace.

¿Cuántos cupos cuestan los Jobs?

El número de cupos necesarios varía según el tipo de Job. Por ejemplo, un Job de /video/encode ocupa 60 cupos, mientras que un Job de /image/resize usa 5 cupos.

Puedes encontrar una lista de todos los Robots y sus requisitos de cupos en la entrada de preguntas frecuentes sobre cupos prioritarios.

¿Cuántos Jobs puedo procesar en paralelo?

Cada plan de suscripción incluye un límite de cupos para Jobs de la Live Queue y de cupos para Jobs por lotes por región. Por ejemplo, si tu límite de cupos prioritarios es 120, puedes tener 24 redimensionamientos de imagen simultáneos (5 cupos cada uno) o 2 codificaciones de video simultáneas antes de que los Jobs empiecen a pasar gradualmente a la cola de respaldo. Del mismo modo, si tienes 360 cupos para Jobs por lotes, tener más de 6 Jobs de video en cola en la Batch Queue hará que los Jobs posteriores se encolen en la cola de respaldo.

Los límites de cupos prioritarios y de cupos para Jobs por lotes de tu plan de suscripción son por región.

¿Cómo puedo evitar un rendimiento degradado?

1. Obtén más cupos prioritarios y cupos para Jobs por lotes, lo que aumenta la capacidad de procesamiento. Contáctanos para obtener valores personalizados.

2. Establece waitForEncoding en false (disponible, por ejemplo, en la integración de Uppy⁠). Esto hace que el procesamiento sea asíncrono, de modo que los tiempos de espera en cola de dos minutos no bloqueen la experiencia del usuario final. Cuando los archivos estén listos, hacemos ping a la notify_url y tú notificas a tu usuario. Este enfoque ofrece la mejor experiencia de usuario y la mayor fiabilidad, y te permite habilitar las reejecuciones de Assemblies si es necesario. Puedes encontrar más información al respecto en la documentación de Assembly Notifications.

3. Al establecer "queue": "batch" en un Step, puedes reducir tú mismo la prioridad de sus Jobs, para evitar consumir cupos prioritarios en Jobs que realmente no necesitan tiempos de espera en cola nulos. Por ejemplo:

{
  "steps": {
    // …
    "encode": {
      "use": ":original",
      "robot": "/video/encode",
      "queue": "batch",
      // …
    },
    // …
  }
}

¿Dónde puedo consultar los tiempos de espera en cola actuales de mi región?

Puedes consultar los tiempos de espera en cola actuales tanto de las Live Queues como de las Batch Queues en nuestra página de estado⁠, y acceder a ellos mediante programación a través de nuestro endpoint de la API de colas⁠ (los valores están en segundos).