Methods for Enhancement Layer Compression in Two-Layer Quality-Scalable Video Coding

Language
en
Document Type
Doctoral Thesis
Issue Date
2019-05-20
Issue Year
2019
Authors
Heindel, Andreas
Editor
Abstract

Video communication applications are prevalent in our digital society. Smart phones and other mobile devices like tablet computers are equipped with both high-resolution displays and cameras, which allow digital video communication almost whenever and wherever desired. Leading-edge technologies from multiple fields like digital communications and digital signal processing jointly enable high quality video applications as we know it today. However, capabilities like processing power, energy supply, display size, or the supported video formats of the devices in the field are very heterogeneous. Moreover, also the network conditions may vary significantly. This challenge is tackled by scalable video coding, which creates bit stream layers of the same content but with different properties, denoted as base layer and enhancement layer. Depending on the network and receiver device capabilities, only the base layer or both layers may be transmitted and decoded. However, scalable video coding with the possibility for lossless reconstruction of individual pictures is not optimally supported by state-of-the-art approaches. Additionally, the specific scalability of the color resolution is not possible by the state of the art. Consequently, two scalable coding schemes that support these requirements are proposed in this thesis.

The first scalable coding framework encodes the residual signal of the base layer in a lossless manner. Pixel-wise intra picture prediction is applied, that is efficient for lossless coding and retains the individual access to single pictures. The experimental results showed that there is no bit rate overhead for the scalable representation compared to state-of-the-art direct lossless coding with only one layer, when intra picture coding is considered. Exploiting temporal correlations by means of inter picture coding of the base layer allows to unite the advantages of both approaches, base layer video coding optimized for lossy compression and lossless enhancement layer coding. An extension of this approach supporting near-lossless coding is also presented in this thesis and outperforms the state of the art in most cases.

The second enhancement layer codec proposed in this thesis allows to reconstruct the high-resolution color format when the base layer is compressed using a reduced color component resolution. Experiments showed that scalable coding can increase the average quality in terms of the peak signal-to-noise ratio by 1.82 dB compared to base layer coding only. Additionally, a novel metric to measure the artifact level originating from the reduced color component resolution is introduced in this context.

Abstract

Anwendungen der Videokommunikation sind in der heutigen Gesellschaft allgegenwärtig. Smartphones und andere mobile Geräte wie Tablet-Computer sind mit hochauflösenden Displays und Kameras ausgestattet. Dadurch ermöglichen sie digitale Videokommunikation an fast allen Orten und zu fast jeder Zeit. Das Zusammenspiel hochmoderner Verfahren aus verschiedenen Bereichen wie digitaler Kommunikationstechnologie oder digitaler Signalverarbeitung ermöglicht hochqualitative Videoanwendungen, wie wir sie heute kennen. Probleme bereitet allerdings die Tatsache, dass die Leistungsfähigkeiten verbrei-teter Computer oder mobiler Endgeräte bezüglich Rechenleistung, Energieversorgung, Displaygröße oder der unterstützen Videoformate sehr unterschiedlich sind. Auch die Netzwerkbedingungen können stark schwanken. Ein möglicher Ansatz, um mit diesen Schwierigkeiten umzugehen, stellt skalierbare Videocodierung dar. Hierbei werden mehrere Datenströme mit unterschiedlichen Eigenschaften erzeugt. Der Basisdatenstrom kann damit durch einen Zusatzdatenstrom aufgewertet werden, beispielsweise bezüglich der Qualität. Abhängig vom Netzwerk und den Fähigkeiten des Empfängergeräts können nur der Basisdatenstrom oder beide Datenströme übertragen beziehungsweise decodiert werden. Skalierbare Videocodierung mit der Möglichkeit der verlustlosen Rekonstruktion einzelner Bilder wird durch aktuelle Verfahren jedoch nicht optimal unterstützt. Außerdem ist es aktuell nicht möglich speziell die Auflösung der Farbkomponenten durch die Übertragung eines Zusatzdatenstroms zur erhöhen. Aus diesen Gründen werden in dieser Arbeit zwei Verfahren zur skalierbaren Codierung vorgeschlagen, die genau diese Anforderungen erfüllen.

Im ersten vorgeschlagenen skalierbaren Verfahren wird die Differenz zwischen dem Eingangssignal und dem decodierten Basisdatenstroms verlustlos codiert. Hierzu wird pixelbasierte örtliche Prädiktion angewendet, da diese eine effiziente verlustlose Codierung ermöglicht und gleichzeitig die Möglichkeit des Zugriffs auf einzelne Bilder im Zusatzdatenstrom bewahrt. Codierexperimente zeigen, dass für den Vorteil der skalierbaren Repräsentation keine zusätzliche Rate aufgewendet werden muss verglichen mit dem Stand der Technik bezüglich direkter verlustloser Codierung mit nur einem Datenstrom, wenn ausschließlich Intra-Bild-Codierung angewendet wird. Die Ausnutzung zeitlicher Korrelation mithilfe von Inter-Bild-Codierung des Basisdatenstroms vereint die Vorteile beider Verfahren: Für den Basisstrom kann ein gängiger, für verlustbehaftete Kompression optimierter Codec, verwendet werden, während die Codierung des Zusatzstromes für verlustlose Kompression optimiert wurde. Eine Erweiterung dieses Ansatzes für annähernd verlustfreie Codierung wird ebenfalls in dieser Arbeit vorgeschlagen und ist alternativen aktuellen Methoden in den meisten Fällen überlegen.

Der zweite in dieser Arbeit eingeführte Codec für einen Zusatzdatenstrom erlaubt die Rekonstruktion der vollen Farbauflösung durch den Zusatzstrom, wenn der Basisdatenstrom nur eine reduzierte Auflösung der Farbkomponenten enthält. Experimente zeigen, dass dieses Art der skalierbaren Codierung eine mittlere Verbesserung des Spitzen-Signal-Rausch-Verhältnisses um 1.82 dB gegenüber dem Basisdatenstrom erreicht. In diesem Kontext wird auch eine neue Fehlermetrik eingeführt, die den Grad der visuellen Beeinträchtigung durch reduzierte Farbauflösung ermittelt.

DOI
Faculties & Collections
Zugehörige ORCIDs