Qu’est-ce que la segmentation sémantique ?
La segmentation sémantique attribue une étiquette de classe à chaque pixel d’une image. Elle identifie des catégories de régions, mais ne distingue généralement pas les instances d’objets distinctes appartenant à la même classe.
Fonctionnement de la segmentation sémantique
Les modèles de segmentation sémantique infèrent une carte dense dont chaque position de sortie correspond à une prédiction de classe pour un pixel ou un bloc de l’entrée. Les réseaux sous-échantillonnent souvent les caractéristiques pour apprendre le contexte, puis les rééchantillonnent à une résolution supérieure ; les limites peuvent donc être moins précises que l’intérieur des régions de chaque classe. L’entraînement nécessite des masques étiquetés et une taxonomie de classes définie, comprenant une règle pour l’arrière-plan ou les pixels ignorés. La sortie est utilisée dans des étapes de masquage, de compréhension de scène, de mesure, de modération ou de retouche automatisée.
Points clés
- Les prédictions sont souvent stockées sous forme de masque d’indices de classe à un seul canal ou de cartes de scores par classe ; le redimensionnement d’un masque d’indices nécessite un échantillonnage au plus proche voisin pour éviter d’inventer des étiquettes.
- L’intersection sur union évalue le chevauchement par classe et révèle les échecs masqués par la précision brute au niveau des pixels lorsque de grandes régions d’arrière-plan dominent l’image.
- Deux voitures qui se touchent peuvent recevoir une seule région continue « voiture », car la sortie sémantique encode la catégorie, et non l’identité de l’objet ; un post-traitement tenant compte des instances ou un autre modèle est nécessaire pour les séparer.
Quand la segmentation sémantique est utile
Utilisez cette méthode lorsqu’une application a besoin de régions définies au niveau des pixels, telles que la route, le ciel, la végétation, les personnes ou l’arrière-plan. Choisissez plutôt la segmentation d’instances lorsque des objets distincts de la même classe doivent être comptés ou suivis.