Qu’est-ce que le traitement de flux vidéo ?
Le traitement de flux vidéo transforme ou analyse les données audiovisuelles en continu à mesure qu’elles arrivent, sans attendre de disposer d’un fichier complet. Les opérations comprennent le transcodage, la composition, le conditionnement, l’inférence, l’enregistrement et la surveillance de la qualité.
Fonctionnement du traitement de flux vidéo
Un moteur de traitement de flux reçoit des échantillons horodatés et les fait passer dans un graphe borné fonctionnant en continu, au lieu de prendre une ressource complète en entrée. Le décodage, l’analyse, les superpositions, le mixage audio, l’encodage et le conditionnement consomment chacun une partie du budget de latence et peuvent fonctionner à des cadences différentes. Les systèmes en direct coordonnent donc la mise en mémoire tampon, la contre-pression, l’ordonnancement et la reprise après défaillance, tout en produisant des livrables ou des événements assez rapidement pour la lecture en aval.
Points clés
- La latence de bout en bout s’accumule dans les tampons de capture, le décodage, le traitement, l’encodage, le conditionnement et la mise en mémoire tampon du lecteur ; optimiser une seule étape peut ne pas modifier sensiblement le décalage perçu par la personne qui regarde.
- Lorsqu’une étape ne peut pas maintenir la cadence d’entrée, un pipeline borné doit supprimer des données, réduire le travail, appliquer une contre-pression ou augmenter le délai ; une file d’attente non bornée finit par épuiser la mémoire.
- Les horodatages de présentation et de décodage peuvent différer lorsque les images sont réordonnées ; les moteurs de traitement doivent donc préserver la sémantique des horodatages au lieu de supposer que l’ordre d’arrivée correspond à l’ordre d’affichage.
Quand le traitement de flux vidéo est utile
Les sous-titres d’accessibilité en direct, la modération, les superpositions, l’analyse et l’encodage à plusieurs débits reposent sur le traitement des images sous des contraintes temporelles soutenues. Les opérations complexes améliorent la sortie, mais peuvent augmenter la latence ou entraîner la suppression de données.