Loading…
Synthesized view distortion computation by rendering for depth map encoding
Tech, Gerhard
Depth-based 3D video allows to synthesize additional views for auto-stereoscopic displays. For synthesized view distortion (SVD) aware compression of the depth data, prior methods consider only an SVD estimate. This thesis targets a different approach: Rendering of the synthesized view and direct computation of the exact SVD.
This approach raises several questions, which this thesis addresses in two parts. The first part addresses the questions how to define a rendering-based SVD measure and how to implement it efficiently. Therefore, the first part develops the concept of the synthesized view distortion change (SVDC), which allows an additive and block related SVD measurement. The SVDC is the distortion change of the synthesized view that is caused by a depth change and can thus be determined by re-rendering the affected synthesized view texture regions. As computational resources for rendering in encoding are limited, the first part develops a low-complexity rendering algorithm by selecting, combining and optimizing basic approaches. The algorithms generates synthesized views with high quality for undistorted depth and sufficient rendering quality for distorted depth. The algorithm can be applied as receiver-side renderer. Key feature of the algorithm is that it is easily extendable by methods for partial re-rendering, which are required for SVD computation in encoding. To implement these, the first part analyzes which synthesized view regions actually change when the depth map changes and modifies the low-complexity rendering algorithm to only re-render them. Finally, the first part embeds the algorithm in a framework, called renderer model (RM), which holds the current state of the rendering process and provides an interface for depth encoders for SVDC computation.
The second part addresses the question how to use SVDC computation with the RM optimally in depth encoding. An initial analysis of the encoder shows how coding efficiency and mode selection statistics change when using the SVDC instead of the depth distortion. Based on this, the second part further optimizes and analyzes complexity and coding efficiency of SVDC-based encoding while considering: 1) the impact the techniques used by the RM, 2) different options to generate the tested and the reference synthesized view textures used for SVDC computation (e.g. view extrapolation and interpolation using coded or uncoded data); 3) an additional depth distortion term; 4) the usage of the SVDC in different coding mode selection stages, and 5) the selection of Lagrange multipliers and quantization parameters. Finally, the second part optimizes and evaluates SVDC-based encoding in different application scenarios (i.e. for varying numbers of synthesized views and different receiver-side rendering approaches), using different distortion metrics, and in comparison to estimation methods.
The contributions of this thesis enable an exact SVD measurement and shows how this can be exploited in encoding. The presented approach thus increases compression efficiency for encoding of depth maps and improves the transmission of 3D video for systems with auto-stereoscopic displays.
Tiefen-basiertes 3D-Video ermöglicht es, zusätzliche Ansichten für autostereoskopische 3D-Displays zu synthetisieren. Zur Kompression von Tiefendaten unter Berücksichtigung der Verzerrung synthetisierter Ansichten, auch genannt Synthesized View Distortion (SVD), betrachten existierende Methoden nur SVD-Schätzungen. Diese Arbeit verfolgt einen anderen Ansatz: Ein Rendern der synthetisierten Ansicht zur direkten Berechnung der exakten SVD. Dieser Ansatz wirft mehrere Fragen auf, die diese Arbeit in zwei Teilen behandelt.
Der erste Teil behandelt die Fragen, wie ein Rendering-basiertes SVD-Maß definiert und effizient implementiert werden kann. Daher entwickelt der erste Teil das Konzept des Synthesized View Distortion Change (SVDC), welches eine additive und blockbezogene SVD Messung erlaubt. Der SVDC ist die Änderung der Verzerrung der synthetisierten Ansicht, die durch eine Änderung der Tiefendaten erzeugt wird und kann daher durch das erneute Rendern der betroffenen Regionen der synthetisierten Ansicht bestimmt werden. Da Rechenressourcen zum Rendern in der Kodierung begrenzt sind, entwickelt der erste Teil durch Auswahl, Kombination und Optimierung grundlegender Ansätze einen Rendering-Algorithmus mit geringer Komplexität. Der Algorithmus erzeugt synthetisierte Ansichten mit einer hohen Qualität für nicht verzerrte Tiefe und mit einer ausreichenden Qualität für verzerrte Tiefe. Er kann als empfängerseitiger Renderer angewendet werden. Schlüsselmerkmal des Algorithmus ist, dass er leicht um Methoden zum erneuten Rendern von Teilbereichen erweitert werden kann, welche für eine SVD-Berechnung in der Enkodierung notwendig sind. Um diese zu implementieren, analysiert der erste Teil, welche Bereiche der synthetisierten Ansicht sich ändern, wenn sich die Tiefenkarte ändert, und modifiziert den Rendering-Algorithmus, um nur diese erneut zu rendern. Schließlich bettet der erste Teil den Algorithmus in ein Framework ein, das als Renderer Model (RM) bezeichnet wird, den aktuellen Zustand des Rendering-Prozesses enthält und eine Schnittstelle für Encoder für die SVDC-Berechnung bereitstellt
Der zweite Teil befasst sich mit der Frage, wie die SVDC-Berechnung mit dem RM optimal in der Tiefenkodierung zu verwenden ist. Eine initiale Analyse zeigt, wie sich die Kodierungseffizienz und die Statik der ausgewählten Kodierungsmodi ändern, wenn der SVDC anstelle der Tiefenverzerrung verwendet wird. Darauf aufbauend optimiert und analysiert der zweite Teil die Komplexität und Kodierungseffizienz der SVDC-basierten Kodierung unter Berücksichtigung 1) des Einflusses der vom RM verwendeten Techniken, 2) verschiedener Optionen zur Generierung der getesteten und der Referenz-Ansicht für die SVDC Berechnung (z. B. Extrapolation und Interpolation von Ansichten mit kodierten oder nicht kodierten Daten); 3) eines zusätzlichen Terms für die Tiefenverzerrung; 4) der Verwendung des SVDCs in verschiedenen Stufen zur Auswahl der Kodierungsmodi und 5) der Auswahl von Lagrange Multiplikatoren und Quantisierungsparametern. Schließlich optimiert und evaluiert der zweite Teil die SVDC-basierte Kodierung in verschiedenen Anwendungsszenarien (d. h. für eine unterschiedliche Anzahl von synthetisierten Ansichten und für unterschiedliche empfängerseitige Rendering-Ansätze), unter Verwendung unterschiedlicher Verzerrungs-Metriken und im Vergleich zu Schätzmethoden.
Die Beiträge dieser Arbeit ermöglichen eine genaue SVD-Messung und zeigen, wie diese in der Kodierung genutzt werden kann. Der vorgestellte Ansatz steigert daher die Kompressionseffizienz in der Kodierung von Tiefenkarten und verbessert die Übertragung von 3D-Video für Systeme mit autostereoskopischen Displays.
