Transloadit

O que é a Batch Queue?

A Batch Queue é a via de processamento compartilhada da Transloadit para Jobs de codificação que não precisam de processamento em tempo real. Os Jobs vão para essa fila quando um Robot de importação ingere vários arquivos em uma única Assembly ou quando um Step opta por ela com "queue": "batch" em suas Assembly Instructions.

Como funciona a Batch Queue

A Batch Queue separa o processamento de mídia voltado à vazão daquele sensível à latência. Steps de importação que buscam vários arquivos são classificados automaticamente como processamento em lote, enquanto importações de um único arquivo permanecem na Live Queue, e a configuração de fila por Step permite apenas reduzir a prioridade da Live Queue para a Batch Queue, nunca aumentá-la. As operações de processamento em si não mudam; muda apenas o momento em que os recursos são alocados. O processamento que excede as vagas para Jobs em lote de um plano é encaminhado gradualmente para uma fila de reserva e recolocado na fila conforme as vagas ficam disponíveis, o que constitui um tratamento de excedentes, não um agrupamento deliberado em lotes.

Informações essenciais

  1. A escolha da fila altera a prioridade de agendamento, não o significado das Instructions de uma Assembly, portanto o mesmo fluxo de trabalho pode gerar resultados equivalentes após uma espera maior.
  2. Tanto o volume de processamento acumulado quanto o custo de cada Job afetam o tempo de conclusão; contar apenas as Assemblies na fila fornece uma estimativa pouco confiável quando os tamanhos dos arquivos e os grafos de processamento diferem.
  3. Os sistemas que dependem dos resultados devem usar eventos de conclusão ou verificações de status em vez de atrasos fixos, pois a disputa por capacidade pode tornar variáveis os momentos de início e término do processamento em lote.

Quando a Batch Queue é importante

Envie o processamento em grande volume que tolera atrasos para a Batch Queue, para que ele não consuma as vagas prioritárias para Jobs das quais os Jobs urgentes dependem. Como os Jobs em lote só são retirados da fila quando a Live Queue compartilhada está vazia, os sistemas consumidores devem tolerar tempos de conclusão mais longos e menos previsíveis ao agendar as etapas seguintes.

Transforme conhecimento sobre mídia em um pipeline funcional

Conecte uploads, processamento, IA, armazenamento e entrega por meio de uma única API declarativa, com o stack de codificação, o ajuste de escala e as constantes mudanças de formatos gerenciados para você.

Experimente a Transloadit gratuitamente