• search hit 1 of 3
Back to Result List

Projecting motion capture : designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects

Projektion von Motion Capture : Design und Implemntierung einer modularen und flexiblen Gesichtsanimationspipeline zur Evaluation unterschiedlicher Wahrnehmungseffekte

  • We can not not communicate, humans use body language and facial expressions to communicate verbally and non-verbally with others. Humans are experts at deciphering and understanding facial expressions. Thus, synthesizing them on a virtual face becomes a very challenging task. Realistic facial animations have various applications like movies, games or affective interfaces. Often motion capture recordings of real humans are used to provide the virtual face with realistic motion. Animation controls need to be established to transfer the captured motion onto the virtual face. To mimic the full essence of the captured motion, these animation controls need to be carefully planned beforehand which is accompanied with high effort in terms of spent time and money. The presented thesis would like to offer an alternative approach to the common performance-driven facial animation techniques. Instead of using motion capture to drive a pre-defined blend-shape rig, this thesis projects motion capture directly onto a facial mesh. Throughout theWe can not not communicate, humans use body language and facial expressions to communicate verbally and non-verbally with others. Humans are experts at deciphering and understanding facial expressions. Thus, synthesizing them on a virtual face becomes a very challenging task. Realistic facial animations have various applications like movies, games or affective interfaces. Often motion capture recordings of real humans are used to provide the virtual face with realistic motion. Animation controls need to be established to transfer the captured motion onto the virtual face. To mimic the full essence of the captured motion, these animation controls need to be carefully planned beforehand which is accompanied with high effort in terms of spent time and money. The presented thesis would like to offer an alternative approach to the common performance-driven facial animation techniques. Instead of using motion capture to drive a pre-defined blend-shape rig, this thesis projects motion capture directly onto a facial mesh. Throughout the proposed pipeline, different methods for retargeting, rigging and skinning are evaluated. Special attention is given to the fact that the origin of motion capture and the appearance of the virtual face does not need to be identical. A constraint for this approach to work is clean motion capture data. For that, this thesis offers an automatic way to clean facial motion trajectories and establishes stable and coherent motion curves. To not just give insights about the capability of the proposed pipeline but also to provide valuable results in the field of perception of virtual avatars, perceptual experiments are conducted. These experiments reveal the functionality of the pipeline and show that it is possible to re-use motion capture on different virtual faces. Additionally, the proposed pipeline is used as a tool to investigate into the perception of non-verbal communication for virtual avatars.show moreshow less
  • Man kann nicht nicht kommunizieren, Menschen nutzen Körpersprache und Gesichtsausdrücke, um untereinander zu kommunizieren. Dabei werden nicht nur verbal Informationen ausgetauscht, sondern auch nonverbal. Da wir im Alltag ständig mit den verschiedensten Gesichtsausdrücken konfrontiert werden, haben wir notwendigerweise, im Laufe der Evolution, gelernt, diese zu deuten und zu verstehen, um uns optimal verständigen zu können. Aus diesem Grund muss Gesichtsausdrücken eine gesonderte Beachtung zukommen, wenn sie synthetisch hergestellt werden sollen. Realistische Gesichtsanimationen spielen in der Unterhaltungsindustrie und im Forschungsfeld von virtuellen Agenten eine große Rolle. Um realistische Gesichtsausdrücke auf virtuellen Gesichtern zu erzeugen, wird die Technik des Motion Capturings genutzt - dabei werden Bewegungskurven von echten Menschen dreidimensional aufgezeichnet. Die Bewegungen werden dann mit Hilfe von Kontrolleinheiten auf ein virtuelles Gesicht übertragen. Diese Kontrolleinheiten müssen ausgiebig im Voraus geplantMan kann nicht nicht kommunizieren, Menschen nutzen Körpersprache und Gesichtsausdrücke, um untereinander zu kommunizieren. Dabei werden nicht nur verbal Informationen ausgetauscht, sondern auch nonverbal. Da wir im Alltag ständig mit den verschiedensten Gesichtsausdrücken konfrontiert werden, haben wir notwendigerweise, im Laufe der Evolution, gelernt, diese zu deuten und zu verstehen, um uns optimal verständigen zu können. Aus diesem Grund muss Gesichtsausdrücken eine gesonderte Beachtung zukommen, wenn sie synthetisch hergestellt werden sollen. Realistische Gesichtsanimationen spielen in der Unterhaltungsindustrie und im Forschungsfeld von virtuellen Agenten eine große Rolle. Um realistische Gesichtsausdrücke auf virtuellen Gesichtern zu erzeugen, wird die Technik des Motion Capturings genutzt - dabei werden Bewegungskurven von echten Menschen dreidimensional aufgezeichnet. Die Bewegungen werden dann mit Hilfe von Kontrolleinheiten auf ein virtuelles Gesicht übertragen. Diese Kontrolleinheiten müssen ausgiebig im Voraus geplant werden, um die aufgezeichneten Bewegungen möglichst echt and präzise nachahmen zu können. Dies kostet oft sehr viel Zeit und Geld. Diese Doktorarbeit möchte eine effizientere Alternative anbieten, indem sie das Motion Capture direkt auf das virtuelle Gesicht projiziert. Das Besondere dieser Methode liegt in der Tatsache, dass der Ursprung des Motion Captures und des virtuellen Gesichts nicht identisch sein müssen. Weiterhin untersucht die Arbeit, welche Methode sich am Besten eignet, um die Motion Capture Marker an das virtuelle Gesicht zu binden. Damit die vorgeschlagene Methode korrekt funktioniert, muss das Motion Capture fehlerfrei sein und auch konsistent benannt werden. Im Zuge dessen bietet diese Arbeit eine Post-Processing Methode speziell für Gesichts-Motion-Capture-Daten an. Um nicht nur die Fähigkeit der vorgestellten Pipeline zu testen, sondern auch Einblicke in die menschliche Wahrnehmung von virtuellen Agenten zu bekommen, werden wahrnehmungspsychologische Experimente durchgeführt. Es hat sich herausgestellt, dass die erbrachte Animationspipeline in den Experimenten vielversprechende Ergebnisse geliefert hat und die Möglichkeit der Wiederverwendbarkeit des Motion Captures bewiesen wurde. Weiterhin kann bestätigt werden, dass die erbrachte Pipeline ein umfangreiches Tool für weitere Forschung in diesem Bereich bietet.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar Stastistics
Metadaten
Author: Katharina Legde
URN:urn:nbn:de:kobv:co1-opus4-56043
DOI:https://doi.org/10.26127/BTUOpen-5604
Referee / Advisor:Prof. Dr. habil. Douglas W. Cunningham
Document Type:Doctoral thesis
Language:English
Year of Completion:2021
Date of final exam:2020/11/25
Release Date:2021/10/15
Tag:Gesichtsanimation; Motion Capture; Retargeting; Skinning; Wahrnehmung
Facial animation; Motion capture; Perception; Retargeting; Skinning
GND Keyword:Gesichtserkennung; Mimik; Merkmalsextraktion; Motion Capturing
Institutes:Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Praktische Informatik / Graphische Systeme
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.