Qu’est-ce que la segmentation vidéo ?
La segmentation vidéo divise des séquences en unités temporelles ou spatiales pertinentes, telles que des plans, des scènes ou des objets suivis. L’unité appropriée dépend de la nature du travail : montage, interprétation ou analyse au niveau des pixels.
Comment fonctionne la segmentation vidéo
La segmentation peut porter sur le temps, en divisant un programme aux transitions, ou sur l’espace, en attribuant les régions des images à des classes ou à des objets individuels. Les systèmes de détection des limites de plans analysent les changements entre les images, tandis que les modèles de segmentation sémantique et de segmentation d’instances produisent des masques et peuvent nécessiter un suivi pour maintenir les identités au fil du temps. Ces résultats alimentent des index de montage, la recherche, les effets, les mesures et les pipelines d’apprentissage automatique, avec des critères d’évaluation choisis pour l’unité concernée.
Points clés
- Une coupe franche produit un changement brusque d’une image à l’autre, tandis que les fondus et les fondus enchaînés répartissent les indices sur plusieurs images ; un détecteur réglé uniquement pour les coupes franches peut manquer les transitions progressives.
- La segmentation sémantique attribue aux pixels une classe telle que « personne », tandis que la segmentation d’instances distingue les personnes individuelles au sein de cette classe, ce qui modifie la structure de sortie requise.
- Exécuter un modèle d’image indépendamment sur chaque image peut faire vaciller les contours des masques et les étiquettes des objets ; des caractéristiques temporelles ou un suivi sont utilisés pour améliorer la cohérence entre les images.
Quand la segmentation vidéo est importante
Un pipeline peut segmenter une vidéo pour détecter des scènes, isoler des objets, remplacer l’arrière-plan ou analyser le contenu. Les découpages temporels et les masques de pixels nécessitent des modèles différents et ne doivent pas être considérés comme des résultats interchangeables.