Was ist foveierte Bildgebung?
Foveierte Bildgebung variiert die räumliche Detailauflösung eines Bildes anhand eines oder mehrerer Fixationspunkte oder relevanter Bildbereiche. Die Detailauflösung ist nahe dem ausgewählten Bereich am höchsten und nimmt zu den Randbereichen hin ab.
So funktioniert foveierte Bildgebung
Ein foveiertes System erstellt eine räumliche Qualitätskarte um einen gewählten Blickpunkt, einen vorhergesagten Aufmerksamkeitsbereich oder eine feste Position im Sichtfenster. Rendering, Sensorabtastung oder Encoding weisen den Bereichen innerhalb dieser Karte dann mehr Details und den übrigen Bereichen zunehmend weniger Details zu. Feste Foveierung benötigt keine Blickerfassung, kann aber kurzfristigen Aufmerksamkeitswechseln nicht folgen; blickabhängige Foveierung kann dies, verursacht jedoch Latenz durch Blickerfassung und Aktualisierung. Sie wird vor der Anzeige oder Auslieferung eingesetzt, solange sich die Ressourcenzuteilung noch räumlich variieren lässt.
Wichtige Fakten
- Foveierung mit Blickerfassung hängt von Kalibrierung, Vorhersage und Ende-zu-Ende-Latenz ab. Trifft der detailreiche Bereich erst nach einer Sakkade ein, kann die betrachtende Person am Fixationspunkt kurzzeitig Bildinhalte in der geringeren Qualität der Randbereiche sehen.
- Variable-Rate-Shading reduziert den Rendering-Aufwand, während die Quantisierung relevanter Bildbereiche die codierte Datenmenge verringert. Beide wirken in unterschiedlichen Phasen und lassen sich kombinieren, sind aber nicht gleichwertig.
- Tile- oder Slice-Grenzen eines Codecs können einschränken, wie genau die Qualität einem kreisförmigen Blickbereich folgt. Bei grober Unterteilung können Bits außerhalb der Fovea verbraucht oder abrupte Qualitätsübergänge sichtbar werden.
Wann foveierte Bildgebung wichtig ist
VR- und Remote-Rendering-Systeme nutzen Foveierung, um Rechenaufwand und Bandbreitenbedarf zu senken. Implementierungen mit Blickerfassung müssen sich schnell aktualisieren, sonst können Nutzer unscharfe Details an ihrer Blickposition bemerken.