Was ist Videostream-Verarbeitung?
Videostream-Verarbeitung wandelt audiovisuelle Daten kontinuierlich bei ihrem Eintreffen um oder analysiert sie, statt auf eine vollständige Datei zu warten. Zu den Vorgängen gehören Transkodieren, Compositing, Paketierung, Inferenz, Aufzeichnung und Qualitätsüberwachung.
So funktioniert Videostream-Verarbeitung
Ein Stream-Prozessor nimmt Samples mit Zeitstempeln über einen begrenzten, kontinuierlich laufenden Verarbeitungsgraphen entgegen, statt eine vollständige Mediendatei als Eingabe zu behandeln. Decodieren, Analyse, Überlagerungen, Audiomischung, Encoding und Paketierung beanspruchen jeweils einen Teil des Latenzbudgets und können mit unterschiedlichen Raten laufen. Live-Systeme koordinieren daher Pufferung, Rückstaukontrolle, Reihenfolge und Fehlerwiederherstellung und geben Ergebnisse oder Ereignisse schnell genug für die nachgelagerte Wiedergabe aus.
Wichtige Fakten
- Die Ende-zu-Ende-Latenz summiert sich über Aufnahmepuffer, Decodieren, Verarbeitung, Encoding, Paketierung und Player-Pufferung; die Optimierung nur einer Stufe verändert die Verzögerung beim Publikum möglicherweise nicht wesentlich.
- Wenn eine Stufe die Eingangsrate nicht aufrechterhalten kann, muss eine begrenzte Pipeline Daten verwerfen, den Arbeitsumfang reduzieren, Rückstaukontrolle anwenden oder die Verzögerung erhöhen; eine unbegrenzte Warteschlange erschöpft irgendwann den Arbeitsspeicher.
- Präsentations- und Decodierzeitstempel können sich unterscheiden, wenn Frames umgeordnet werden. Prozessoren müssen daher die Bedeutung der Zeitstempel erhalten, statt anzunehmen, dass die Ankunftsreihenfolge der Anzeigereihenfolge entspricht.
Wann Videostream-Verarbeitung wichtig ist
Live-Untertitel, Moderation, Überlagerungen, Analysen und Encoding mit mehreren Bitraten sind darauf angewiesen, dass Frames unter dauerhaft geltenden Zeitvorgaben verarbeitet werden. Komplexe Vorgänge verbessern die Ausgabe, können aber die Latenz erhöhen oder zum Verwerfen von Daten führen.