¿Qué es la segmentación de video?
La segmentación de video divide el material en unidades temporales o espaciales significativas, como planos, escenas u objetos registrados mediante seguimiento. La unidad adecuada depende de si la tarea se relaciona con la edición, la interpretación o el análisis a nivel de píxel.
Cómo funciona la segmentación de video
La segmentación puede operar en el tiempo, dividiendo un programa en las transiciones, o en el espacio, asignando regiones de los fotogramas a clases u objetos individuales. Los sistemas de detección de límites de planos analizan los cambios entre fotogramas, mientras que los modelos semánticos y de instancias producen máscaras y pueden necesitar seguimiento para mantener las identidades a lo largo del tiempo. Estas salidas alimentan índices de edición, búsquedas, efectos, mediciones y pipelines de aprendizaje automático, con criterios de evaluación elegidos para la unidad específica.
Datos clave
- Un corte directo produce un cambio abrupto entre fotogramas, mientras que los fundidos y las disolvencias distribuyen los indicios entre varios fotogramas; un detector ajustado solo para cortes abruptos puede pasar por alto las transiciones graduales.
- La segmentación semántica asigna a los píxeles una clase, como «persona», mientras que la segmentación de instancias separa a las personas individuales dentro de esa clase, lo que cambia la estructura de salida necesaria.
- Ejecutar un modelo de imagen de forma independiente en cada fotograma puede hacer que los límites de las máscaras y las etiquetas de los objetos parpadeen; se usan características temporales o seguimiento para mejorar la coherencia entre fotogramas.
Cuándo es importante la segmentación de video
Un pipeline puede segmentar video para detectar escenas, aislar objetos, reemplazar fondos o analizar contenido. Los cortes temporales y las máscaras de píxeles requieren modelos diferentes y no deberían tratarse como salidas intercambiables.