Was ist JPEG XS?
JPEG XS, standardisiert als ISO/IEC 21122, ist ein Bild- und Videocodec mit geringer Komplexität und Latenz. Er unterstützt visuell verlustfreien und mathematisch verlustfreien Betrieb bei moderaten Kompressionsverhältnissen.
So funktioniert JPEG XS
JPEG XS wurde für Verbindungen entwickelt, die zuvor unkomprimiertes Video übertrugen und auf denen Bilder mit sehr geringer Pufferung und einfacher Hardware komprimiert und rekonstruiert werden müssen. Eine Wavelet-Transformation zerlegt jede Komponente in Bänder. Die Koeffizienten werden zu Precincts gruppiert, die jeweils einen Bildbereich abdecken. Precincts werden zu Slices zusammengefasst, die sich über die gesamte Bildbreite erstrecken. Diese Struktur ermöglicht es, die zusätzliche Latenz durch Encoding und Decodieren auf einen Bruchteil eines Frames zu begrenzen, typischerweise auf wenige Zeilen. Eine präzise Bitratensteuerung ermöglicht die Übertragung eines Streams über eine Verbindung mit fester Kapazität. Dafür fällt das Kompressionsverhältnis gering aus: Typische visuell verlustfreie Verhältnisse liegen bei 2:1 bis 10:1 in RFC 9134 und bei 2:1 bis 18:1 in der dritten Ausgabe des Standards, die 2024 erschien. Ein Stream benötigt daher typischerweise noch etwa ein Achtzehntel bis die Hälfte der unkomprimierten Bitrate. Bis einschließlich der zweiten Ausgabe wurde jedes Bild eigenständig codiert. Die dritte Ausgabe ergänzt einen optionalen Modus für zeitliches Differenz-Encoding, bei dem ein Bild vom vorherigen abhängen kann.
Wichtige Fakten
- Ob sich jedes Bild eigenständig decodieren lässt, hängt vom Profil ab. Ein Codestream ohne zeitliches Differenz-Encoding (TDC) bildet ein eigenständiges Bild. Nur dies war in der ersten und zweiten Ausgabe erlaubt. Die dritte Ausgabe ergänzt TDC-Profile, bei denen das Decodieren von einem Frame-Puffer abhängen kann, den der vorherige Codestream hinterlassen hat. Prüfen Sie daher das Profil, bevor Sie bildgenaues Umschalten, Schneiden oder Wiederherstellen nach Paketverlust voraussetzen.
- JPEG XS nimmt für geringe Verzögerung eine geringere Kompression in Kauf. Die zusätzliche Latenz durch Encoding und Decodieren lässt sich auf einen Bruchteil eines Frames begrenzen, typischerweise auf wenige Zeilen. Die üblichen visuell verlustfreien Kompressionsverhältnisse fallen dabei gering aus: 2:1 bis 10:1 in RFC 9134 und 2:1 bis 18:1, je nach Bild auch höher, in der dritten Ausgabe von 2024. Diese Latenz betrifft nur den Codec: Die Empfehlung VSF TR-08 für Systeme nach ST 2110-22 setzt für die Ende-zu-Ende-Übertragung ein Ziel von etwa einem Zehntel eines Frames, weiterhin ohne Netzwerklaufzeit und Pufferung zum Ausgleich unterschiedlicher Übertragungswege. Klären Sie daher die Verzögerung von Gerät zu Gerät mit den Herstellern. Betrachten Sie die Verhältnisse als typische Werte, nicht als Grenzwerte. Prüfen Sie außerdem, welche Bitrate und Bildqualität jedes Gerät für Ihre Formate und Inhalte liefert. Der Codec wurde für Übertragungswege entwickelt, die zuvor unkomprimiertes Video transportierten.
- Dass zwei Geräte JPEG XS decodieren können, macht sie über IP noch nicht interoperabel. RFC 9134 definiert zwei RTP-Paketierungsmodi, Codestream und Slice. Der Sender gibt einen davon im erforderlichen Parameter
packetmodean. Bei der SDP-Offer/Answer-Aushandlung muss ein Empfänger die Sitzung ablehnen, wenn er die angebotenen Parameter nicht unterstützt. Interoperabilitätsempfehlungen schränken die Auswahl weiter ein: VSF TR-08 für SMPTE ST 2110-22 schreibt den Codestream-Modus vor und nennt die Profile, Levels, Sublevels und Formate, die ein Gerät für jede als unterstützt angegebene Konfiguration verarbeiten muss. Prüfen Sie daher, ob beide Geräte dieselbe Konfiguration als unterstützt angeben. - Ein JPEG-XS-Codestream enthält Abtastwerte ohne Farbinterpretation. Primärfarben, Übertragungscharakteristik, Bildrate und Zeilensprungmodus werden in separaten Boxen zur Videounterstützung und Farbspezifikation oder über die Signalisierung des Transports übertragen. Eine Pipeline muss diese Informationen daher zusammen mit dem Codestream weitergeben.
Wann JPEG XS relevant ist
Professionelle Produktionen und Video-over-IP-Verbindungen können JPEG XS nutzen, wenn vorhersehbare Verzögerung wichtiger ist als maximale Kompression. Beide Endpunkte müssen den Standard unterstützen und seine vergleichsweise hohe Bitrate dauerhaft bewältigen.