¿Qué es la segmentación panóptica?
La segmentación panóptica asigna una clase semántica a cada píxel y, al mismo tiempo, distingue las diferentes instancias de objetos contables. Combina la cobertura de la segmentación semántica con la identificación a nivel de instancia.
Cómo funciona la segmentación panóptica
La segmentación panóptica produce una interpretación de una escena sin superposiciones en la que cada píxel recibe una categoría y los objetos de primer plano que cumplen los criterios también reciben identidades de instancia. Las regiones amorfas de «materia», como la carretera o el cielo, necesitan cobertura de clase, pero no una identidad contable, mientras que las clases de «objetos», como las personas, pueden separarse en individuos. Una etapa de fusión suele conciliar las predicciones semánticas y de instancias en el mapa final. La salida facilita la comprensión de escenas y los flujos de trabajo de edición que necesitan tanto una cobertura completa como una selección a nivel de objeto.
Datos clave
- Cada segmento de salida suele representarse mediante un identificador de categoría y, para las clases de objetos contables, un identificador de instancia vinculado a una máscara de píxeles.
- La calidad panóptica combina el rendimiento del reconocimiento con el grado de superposición de las máscaras, por lo que penaliza tanto los segmentos omitidos o espurios como una mala concordancia espacial.
- Se deben resolver las superposiciones entre las instancias propuestas, porque el resultado panóptico asigna un único segmento a cada píxel, a diferencia de las máscaras de detección independientes.
Cuándo es importante la segmentación panóptica
Elígela cuando un sistema deba identificar tanto regiones continuas (como el cielo) como objetos individuales (como los vehículos). El resultado más completo generalmente requiere más anotaciones y cómputo que cualquiera de las dos tareas por separado.