3D-Kopfposenschätzung in monochromatischen Videosequenzen geringer Auflösung

3D Head Pose Estimation in Monochromatic, Low Resolution Video Sequences

  • Diese Arbeit befasst sich mit modellbasierten Bildverarbeitungsansätzen zur Detektion und Tracking der Position und Orientierung von menschlichen Köpfen bezüglich einer Kamera in allen 6 Freiheitsgraden. Durch die Kombination und Modifikation verschiedener bestehender Ansätze sowie die Entwicklung neuer Techniken wird ein automatisiertes System zur Detektion und Tracking der Kopfpose in monochromatischen Videosequenzen geringer Auflösung vorgestellt. Der vorgestellte Ansatz besteht aus einer IniDiese Arbeit befasst sich mit modellbasierten Bildverarbeitungsansätzen zur Detektion und Tracking der Position und Orientierung von menschlichen Köpfen bezüglich einer Kamera in allen 6 Freiheitsgraden. Durch die Kombination und Modifikation verschiedener bestehender Ansätze sowie die Entwicklung neuer Techniken wird ein automatisiertes System zur Detektion und Tracking der Kopfpose in monochromatischen Videosequenzen geringer Auflösung vorgestellt. Der vorgestellte Ansatz besteht aus einer Initialisierungsphase und einer Trackingphase. Im Zuge der Initialisierung wird die Kopfpose detektiert, ohne dass Vorwissen über das Aussehen und die Pose des Kopfes. Die Initialisierung ist begrenzt auf ein Orientierungsfenster von +/- 20° Abweichung von einer Frontalansicht. In der Trackingphase bestehen keine Restriktionen bezüglich der Kopforientierungen, es sind jedoch Näherungswerte für die Pose erforderlich. Die Leistungsfähigkeit unterschiedlicher merkmalsbasierter und texturbasierter Techniken wurde bezüglich variabler Beleuchtung, variabler Auflösung, Kopfbewegungen unterschiedlicher Geschwindigkeit und unterschiedlichen Testpersonen untersucht. Bei einer Auflösung der Köpfe von 100x60 Pixel im Bild wurde in der Initialisierung eine Detektionsrate von 79,19% bei einer False-Positive-Rate von 4,2% erzielt. Die erreichten Genauigkeiten bei Initialisierung und Tracking sind <5° für Rotationen und 25mm für Translationen. Der größte Beitrag dieser Arbeit liegt im Bereich der beleuchtungs- und personeninvarianten Modellierung der Gesichtstextur unter Berücksichtigung der Gesichtssymmetrie. In diesem Zusammenhang wurden 2 neue Ansätze entwickelt. Die Erscheinung der Gesichter in den Bildern wird modelliert über ein 3D Kopfmodell in Zusammenhang mit einem Texturmodell. Unter der Annahme von lambertscher Reflexion und Gesichtssymmetrie wird sowohl analytisch als auch experimentell nachgewiesen, dass Texturdifferenzen zwischen linker und rechter Gesichtshälfte auf einer Linie (eindimensionaler Untervektorraum) im hochdimensionalen Raum der Gesichtstexturen liegen. Im Gegensatz dazu liegen die Gesichtstexturen selbst in einem dreidimensionalen Untervektorraum. Es wird somit gezeigt, dass durch die Verwendung von Texturdifferenzen die Modellierung der Textur eines variabel beleuchteten Gesichtes auf ein eindimensionales Problem reduziert werden kann. In einem ähnlichen Ansatz wird gezeigt dass ein personeninvariantes Gesichtstexturmodell erhalten werden kann wenn der Quotient zwischen linker und rechter Gesichtshälfte als Texturrepräsentation herangezogen wird. Diese Erkenntnisse sind auch für andere Anwendungen der Computer Vision von Interesse. Vor allem der Einsatz für eine beleuchtungsinvariante Gesichtserkennung erscheint viel versprechend und wäre zu untersuchen.show moreshow less
  • This thesis investigates model based image processing approaches to detect and track the position and orientation of a human head with respect to a camera in all 6 degrees of freedom. Through the combination and modification of different existing approaches as well as the invention of new techniques a fully automated system to detect and track the head pose (position and orientation) in low resolution video sequences is being presented. The presented approach consists of an initialization stage This thesis investigates model based image processing approaches to detect and track the position and orientation of a human head with respect to a camera in all 6 degrees of freedom. Through the combination and modification of different existing approaches as well as the invention of new techniques a fully automated system to detect and track the head pose (position and orientation) in low resolution video sequences is being presented. The presented approach consists of an initialization stage and a tracking stage. During the initialization the head pose is detected without any information about appearance and approximate pose of the head. The initialization is restricted to an orientation window of +/- 20° deviation from a frontal view. During the tracking stage no restrictions with respect to head orientations apply but approximate values are necessary. The performance of different feature based and texture based techniques is being evaluated with respect to varying illumination, low image resolution, fast movements and varying users. The head usually covering about 100 x 60 pixel, a detection rate of 79,19% at a false positive rate of 4,2% could be achieved during the initialization. The achieved accuracy for initialization and tracking is <5 .in rotation and 25mm in translation. The main contributions of this work lie in the field of illumination and person invariant modelling of face texture using face symmetry. 2 new techniques have been developed. The appearance of faces in images are modelled by a 3D head model in conjunction with a texture model. Assuming lambertian reflection and face symmetry, it is shown analytically as well as in experiments that texture differences between the left and the right half of a face under varying illumination do lie on a line (1 dimensional subspace) in the high-dimensional space of face textures, while the textures themselves lie in a 3 dimensional subspace. This shows that by using texture differences the modelling of face illumination can be reduced to a one dimensional problem. In a similar way it is shown that a person invariant face texture model can be received if the quotient between the left and the right half of the texture is used as a representation. These new findings could also be of increased interest for other applications in computer vision. Especially the use in illumination invariant face recognition seems promising and remains to be investigated.show moreshow less

Download full text files

Export metadata

  • Export Bibtex
  • Export RIS

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author: Martin Gründig
URN:urn:nbn:de:kobv:83-opus-10107
Advisor:Prof. Dr. Olaf Hellwich
Document Type:Doctoral Thesis
Language:German
Date of Publication (online):2005/06/28
Publishing Institution:Technische Universität Berlin
Granting Institution:Technische Universität Berlin, ehemalige Fakultät VI - Bauingenieurwesen und Angewandte Geowissenschaften
Date of final exam:2005/02/18
Release Date:2005/06/28
Tag:3D Kopfmodell; Kopfpose; Symmetrie; Video Tracking; geringe Auflösung
3D Head model; Head Pose; Symmetry; Video Tracking; low resolution
Institutes:Fakultät VI - Bauingenieurwesen und Angewandte Geowissenschaften -ohne Zuordnung zu einem Institut-
Dewey Decimal Classification:620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Licence (German):License LogoDeutsches Urheberrecht mit Print on Demand (u.a. für Dissertationen empfohlen)