Was ist Video-Segmentierung?
Video-Segmentierung unterteilt Videomaterial in sinnvolle zeitliche oder räumliche Einheiten, etwa Einstellungen, Szenen oder verfolgte Objekte. Welche Einheit geeignet ist, hängt davon ab, ob die Aufgabe den Videoschnitt, die Interpretation oder eine Analyse auf Pixelebene betrifft.
So funktioniert Video-Segmentierung
Segmentierung kann zeitlich erfolgen, indem sie eine Sendung an Übergängen unterteilt, oder räumlich, indem sie Bereiche innerhalb von Bildern Klassen oder einzelnen Objekten zuordnet. Systeme zur Erkennung von Einstellungsgrenzen analysieren Veränderungen zwischen Bildern. Modelle zur semantischen Segmentierung und Instanzsegmentierung erzeugen dagegen Masken und benötigen möglicherweise eine Objektverfolgung, um Identitäten über die Zeit beizubehalten. Diese Ergebnisse fließen in Indizes für den Videoschnitt, Suche, Effekte, Messungen und Machine-Learning-Pipelines ein. Die Bewertungskriterien werden passend zur jeweiligen Einheit gewählt.
Wichtige Fakten
- Ein harter Schnitt erzeugt einen abrupten Wechsel von Bild zu Bild, während Auf- und Abblendungen sowie Überblendungen die Anzeichen auf mehrere Bilder verteilen; ein Detektor, der nur auf abrupte Schnitte abgestimmt ist, kann allmähliche Übergänge übersehen.
- Semantische Segmentierung ordnet Pixeln eine Klasse wie „Person“ zu. Instanzsegmentierung trennt dagegen einzelne Personen innerhalb dieser Klasse voneinander, wodurch sich die erforderliche Ausgabestruktur ändert.
- Wird ein Bildmodell auf jedes Bild unabhängig angewendet, können Maskengrenzen und Objektkennzeichnungen flackern; zeitliche Merkmale oder Objektverfolgung werden eingesetzt, um die Konsistenz über mehrere Bilder hinweg zu verbessern.
Wann Video-Segmentierung relevant ist
Eine Pipeline kann Videos zur Szenenerkennung, Objektisolierung, Hintergrundersetzung oder Inhaltsanalyse segmentieren. Zeitliche Schnitte und Pixelmasken erfordern unterschiedliche Modelle und sollten nicht als austauschbare Ergebnisse behandelt werden.