¿Qué es el procesamiento de flujos de video?
El procesamiento de flujos de video transforma o analiza los datos audiovisuales de forma continua a medida que llegan, en lugar de esperar a disponer de un archivo completo. Las operaciones incluyen transcodificación, composición, empaquetado, inferencia, grabación y supervisión de la calidad.
Cómo funciona el procesamiento de flujos de video
Un procesador de flujos recibe muestras con marcas de tiempo a través de un grafo acotado que se ejecuta continuamente, en lugar de tomar un activo completo como entrada. La decodificación, el análisis, las superposiciones, la mezcla de audio, el encoding y el empaquetado consumen, cada uno, parte del presupuesto de latencia y pueden ejecutarse a ritmos distintos. Por ello, los sistemas en vivo coordinan el almacenamiento en búfer, la contrapresión, la ordenación y la recuperación ante fallos mientras generan salidas o eventos con la rapidez suficiente para la reproducción posterior.
Datos clave
- La latencia de extremo a extremo se acumula en los búferes de captura, la decodificación, el procesamiento, el encoding, el empaquetado y el almacenamiento en búfer del reproductor; optimizar una sola etapa puede no cambiar de forma significativa el retraso que experimenta el espectador.
- Cuando una etapa no puede mantener el ritmo de entrada, un pipeline acotado debe descartar datos, reducir el trabajo, aplicar contrapresión o aumentar el retraso; una cola sin límites termina por agotar la memoria.
- Las marcas de tiempo de presentación y de decodificación pueden diferir cuando se reordenan los fotogramas, por lo que los procesadores deben preservar la semántica de las marcas de tiempo en lugar de suponer que el orden de llegada es el orden de visualización.
Cuándo es importante el procesamiento de flujos de video
Los subtítulos en vivo, la moderación, las superposiciones, el análisis y el encoding con múltiples tasas de bits dependen del procesamiento de fotogramas bajo restricciones temporales sostenidas. Las operaciones complejas mejoran la salida, pero pueden aumentar la latencia o provocar que se descarten datos.