Transloadit

Was ist die Batch Queue?

Die Batch Queue ist Transloadits gemeinsame Verarbeitungsspur für Encoding Jobs, die keine Echtzeitverarbeitung benötigen. Jobs gelangen dorthin, wenn ein Import Robot mehrere Dateien in einer Assembly einliest oder wenn sich ein Step in seinen Assembly Instructions mit "queue": "batch" dafür entscheidet.

So funktioniert die Batch Queue

Die Batch Queue trennt durchsatzorientierte Medienverarbeitung von latenzkritischer Verarbeitung. Import-Steps, die mehrere Dateien abrufen, werden automatisch als Batch-Arbeit gekennzeichnet, während Importe einzelner Dateien in der Live Queue bleiben. Die Queue-Einstellung je Step erlaubt nur eine Herabstufung von Live zu Batch, niemals eine Hochstufung. Die Verarbeitungsvorgänge selbst bleiben gleich; nur der Zeitpunkt der Ressourcenzuweisung ändert sich. Arbeit, die die Batch-Slots eines Tarifs übersteigt, wird schrittweise in eine Backup Queue verschoben und erneut eingereiht, sobald Slots frei werden. Dies dient der Überlaufbehandlung, nicht der gezielten Bündelung von Aufträgen.

Wichtige Fakten

  1. Die Zuordnung zu einer Queue ändert die Ausführungspriorität, nicht die Bedeutung der Instructions einer Assembly. Derselbe Workflow kann daher nach längerer Wartezeit gleichwertige Ausgaben liefern.
  2. Sowohl die Größe des Rückstaus als auch der Rechenaufwand eines Auftrags beeinflussen die Dauer bis zum Abschluss. Allein die Anzahl eingereihter Assemblies liefert nur eine grobe Schätzung, wenn sich ihre Dateigrößen und Verarbeitungsgraphen unterscheiden.
  3. Nachgelagerte Systeme müssen Abschlussereignisse oder Statusabfragen statt fester Wartezeiten nutzen, da konkurrierende Ressourcennutzung die Start- und Abschlusszeiten von Batch-Aufträgen schwanken lassen kann.

Wann die Batch Queue wichtig ist

Senden Sie umfangreiche Aufträge, die Verzögerungen tolerieren, an die Batch Queue, damit sie keine Priority Job Slots belegen, auf die dringende Aufträge angewiesen sind. Da Batch-Aufträge nur zur Verarbeitung angenommen werden, wenn die gemeinsame Live Queue leer ist, müssen nutzende Systeme bei der Planung nachgelagerter Arbeitsschritte längere und weniger vorhersehbare Zeiten bis zum Abschluss einkalkulieren.

Machen Sie aus Medienwissen eine funktionierende Pipeline

Verbinden Sie Uploads, Verarbeitung, KI, Storage und Auslieferung über eine deklarative API – um Encoding-Stack, Skalierung und ständig wechselnde Formate müssen Sie sich nicht selbst kümmern.

Transloadit kostenlos ausprobieren