Was ist panoptische Segmentierung?
Panoptische Segmentierung weist jedem Pixel eine semantische Klasse zu und unterscheidet zugleich einzelne Instanzen zählbarer Objekte. Sie verbindet die flächendeckende Zuordnung der semantischen Segmentierung mit der Identifikation auf Instanzebene.
So funktioniert panoptische Segmentierung
Panoptische Segmentierung erzeugt eine überlappungsfreie Interpretation einer Szene, in der jedes Pixel eine Kategorie erhält und geeigneten Vordergrundobjekten zusätzlich Instanzidentitäten zugewiesen werden. Amorphe „Stuff“-Bereiche wie Straße oder Himmel benötigen eine Klassenzuordnung, aber keine zählbare Identität. „Thing“-Klassen wie Menschen lassen sich dagegen in einzelne Individuen aufteilen. Eine Fusionsphase führt häufig semantische Vorhersagen und Instanzvorhersagen zur endgültigen Karte zusammen. Die Ausgabe unterstützt Szenenverständnis und Bearbeitungsabläufe, die sowohl eine vollständige Abdeckung als auch die Auswahl einzelner Objekte benötigen.
Wichtige Fakten
- Jedes Ausgabesegment wird typischerweise durch eine Kategoriekennung und bei zählbaren Klassen zusätzlich durch eine Instanzkennung dargestellt, die mit einer Pixelmaske verknüpft ist.
- Die panoptische Qualität kombiniert Erkennungsleistung und Maskenüberlappung. Sie bewertet daher sowohl übersehene oder fälschlich erzeugte Segmente als auch eine schlechte räumliche Übereinstimmung negativ.
- Überlappende Instanzvorschläge müssen aufgelöst werden, da das panoptische Ergebnis im Gegensatz zu unabhängigen Erkennungsmasken jedem Pixel genau ein Segment zuweist.
Wann panoptische Segmentierung wichtig ist
Wählen Sie dieses Verfahren, wenn ein System sowohl zusammenhängende Bereiche wie Himmel als auch einzelne Objekte wie Fahrzeuge identifizieren muss. Die umfangreichere Ausgabe erfordert im Allgemeinen mehr Annotation und Rechenaufwand als jede der beiden Aufgaben allein.