Qu’est-ce que la segmentation panoptique ?
La segmentation panoptique attribue une classe sémantique à chaque pixel tout en distinguant les instances séparées des objets dénombrables. Elle combine la couverture de la segmentation sémantique avec l’identification au niveau des instances.
Fonctionnement de la segmentation panoptique
La segmentation panoptique produit une interprétation sans chevauchement de la scène, dans laquelle chaque pixel reçoit une catégorie et les objets de premier plan admissibles reçoivent aussi des identifiants d’instance. Les régions de « matière » amorphes, comme la route ou le ciel, nécessitent une couverture par classe, mais pas d’identité dénombrable, tandis que les classes d’« objets », comme les personnes, peuvent être séparées en individus. Une étape de fusion réconcilie souvent les prédictions sémantiques et les prédictions d’instances pour former la carte finale. La sortie sert à la compréhension des scènes et aux flux de travail de retouche qui nécessitent à la fois une couverture complète et une sélection au niveau des objets.
Points clés
- Chaque segment de sortie est généralement représenté par un identifiant de catégorie et, pour les classes dénombrables, par un identifiant d’instance lié à un masque de pixels.
- La qualité panoptique combine la reconnaissance et le chevauchement des masques ; elle pénalise donc les segments manqués ou indus ainsi qu’une mauvaise concordance spatiale.
- Les chevauchements entre les propositions d’instances doivent être résolus, car le résultat panoptique attribue un seul segment à chaque pixel, contrairement aux masques de détection indépendants.
Quand la segmentation panoptique est utile
Choisissez-la lorsqu’un système doit identifier à la fois des régions continues, comme le ciel, et des objets individuels, comme les véhicules. Cette sortie plus riche nécessite généralement davantage d’annotation et de calcul que chacune de ces tâches prise isolément.