Was ist VMAF?
VMAF ist eine wahrnehmungsorientierte Vollreferenzmetrik, die Netflix mit Mitwirkenden aus der Wissenschaft entwickelt hat, um die subjektive Videoqualität anhand von Referenzsequenzen und verzerrten Sequenzen vorherzusagen. Sie kombiniert mehrere Bildqualitätsmerkmale zu einem Wert.
So funktioniert VMAF
VMAF bewertet eine beeinträchtigte Sequenz im Vergleich zu einer zeitlich und räumlich entsprechenden Quelle, extrahiert mehrere Wahrnehmungsmerkmale und führt sie mithilfe eines trainierten Modells zusammen. Damit orientiert sich die Metrik stärker an der visuellen Wahrnehmung als eine einzelne Pixelfehlerformel. Das Ergebnis hängt jedoch weiterhin vom gewählten Modell, der Vorverarbeitung und der Aggregationsmethode ab. Encoding-Pipelines nutzen VMAF für Kompressions- und Skalierungsexperimente, Regressionstests und die Analyse von Bitratenleitern. Wichtige Entscheidungen werden anschließend durch die Prüfung einzelner Szenen und Beobachtungen bei der Wiedergabe bestätigt. Ergebnisse sollten nicht auf Paketverluste, Datenbeschädigungen oder andere Artefaktklassen verallgemeinert werden, die in den Trainingsdaten eines Modells nicht vorkommen.
Wichtige Fakten
- Referenzbilder und verzerrte Bilder müssen dieselben Zeitpunkte und eine vergleichbare Bildgeometrie darstellen; Versätze, ausgelassene Bilder oder uneinheitliche Skalierung können dazu führen, dass statt Qualitätseinbußen eine fehlerhafte Ausrichtung gemessen wird.
- Ein VMAF-Ergebnis ist an ein bestimmtes Modell und eine bestimmte Werkzeugkonfiguration gebunden. Werte, die mit unterschiedlichen Modellen oder Vorverarbeitungseinstellungen erzeugt wurden, sollten nicht als direkt vergleichbar angesehen werden.
- Ein einzelner aggregierter Wert kann eine kurze, stark beschädigte Szene verbergen. Werteverläufe pro Bild und Zusammenfassungen zum unteren Ende der Werteverteilung oder zu einzelnen Szenen helfen, örtlich begrenzte Qualitätsmängel aufzudecken.
Wann VMAF relevant ist
Encoding-Teams berechnen VMAF, wenn sie Codecs, Skalierungsoptionen, Encoder-Einstellungen oder Bitratenleitern vergleichen. Die Ergebnisse hängen vom gewählten Modell, der Referenz und den Artefakttypen ab, die in den Trainingsdaten dieses Modells enthalten sind. Ein einzelner Wert sollte daher keine Wiedergabetests ersetzen.