TY - THES A1 - Legde, Katharina T1 - Projecting motion capture : designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects T1 - Projektion von Motion Capture : Design und Implemntierung einer modularen und flexiblen Gesichtsanimationspipeline zur Evaluation unterschiedlicher Wahrnehmungseffekte N2 - We can not not communicate, humans use body language and facial expressions to communicate verbally and non-verbally with others. Humans are experts at deciphering and understanding facial expressions. Thus, synthesizing them on a virtual face becomes a very challenging task. Realistic facial animations have various applications like movies, games or affective interfaces. Often motion capture recordings of real humans are used to provide the virtual face with realistic motion. Animation controls need to be established to transfer the captured motion onto the virtual face. To mimic the full essence of the captured motion, these animation controls need to be carefully planned beforehand which is accompanied with high effort in terms of spent time and money. The presented thesis would like to offer an alternative approach to the common performance-driven facial animation techniques. Instead of using motion capture to drive a pre-defined blend-shape rig, this thesis projects motion capture directly onto a facial mesh. Throughout the proposed pipeline, different methods for retargeting, rigging and skinning are evaluated. Special attention is given to the fact that the origin of motion capture and the appearance of the virtual face does not need to be identical. A constraint for this approach to work is clean motion capture data. For that, this thesis offers an automatic way to clean facial motion trajectories and establishes stable and coherent motion curves. To not just give insights about the capability of the proposed pipeline but also to provide valuable results in the field of perception of virtual avatars, perceptual experiments are conducted. These experiments reveal the functionality of the pipeline and show that it is possible to re-use motion capture on different virtual faces. Additionally, the proposed pipeline is used as a tool to investigate into the perception of non-verbal communication for virtual avatars. N2 - Man kann nicht nicht kommunizieren, Menschen nutzen Körpersprache und Gesichtsausdrücke, um untereinander zu kommunizieren. Dabei werden nicht nur verbal Informationen ausgetauscht, sondern auch nonverbal. Da wir im Alltag ständig mit den verschiedensten Gesichtsausdrücken konfrontiert werden, haben wir notwendigerweise, im Laufe der Evolution, gelernt, diese zu deuten und zu verstehen, um uns optimal verständigen zu können. Aus diesem Grund muss Gesichtsausdrücken eine gesonderte Beachtung zukommen, wenn sie synthetisch hergestellt werden sollen. Realistische Gesichtsanimationen spielen in der Unterhaltungsindustrie und im Forschungsfeld von virtuellen Agenten eine große Rolle. Um realistische Gesichtsausdrücke auf virtuellen Gesichtern zu erzeugen, wird die Technik des Motion Capturings genutzt - dabei werden Bewegungskurven von echten Menschen dreidimensional aufgezeichnet. Die Bewegungen werden dann mit Hilfe von Kontrolleinheiten auf ein virtuelles Gesicht übertragen. Diese Kontrolleinheiten müssen ausgiebig im Voraus geplant werden, um die aufgezeichneten Bewegungen möglichst echt and präzise nachahmen zu können. Dies kostet oft sehr viel Zeit und Geld. Diese Doktorarbeit möchte eine effizientere Alternative anbieten, indem sie das Motion Capture direkt auf das virtuelle Gesicht projiziert. Das Besondere dieser Methode liegt in der Tatsache, dass der Ursprung des Motion Captures und des virtuellen Gesichts nicht identisch sein müssen. Weiterhin untersucht die Arbeit, welche Methode sich am Besten eignet, um die Motion Capture Marker an das virtuelle Gesicht zu binden. Damit die vorgeschlagene Methode korrekt funktioniert, muss das Motion Capture fehlerfrei sein und auch konsistent benannt werden. Im Zuge dessen bietet diese Arbeit eine Post-Processing Methode speziell für Gesichts-Motion-Capture-Daten an. Um nicht nur die Fähigkeit der vorgestellten Pipeline zu testen, sondern auch Einblicke in die menschliche Wahrnehmung von virtuellen Agenten zu bekommen, werden wahrnehmungspsychologische Experimente durchgeführt. Es hat sich herausgestellt, dass die erbrachte Animationspipeline in den Experimenten vielversprechende Ergebnisse geliefert hat und die Möglichkeit der Wiederverwendbarkeit des Motion Captures bewiesen wurde. Weiterhin kann bestätigt werden, dass die erbrachte Pipeline ein umfangreiches Tool für weitere Forschung in diesem Bereich bietet. KW - Facial animation KW - Motion capture KW - Retargeting KW - Skinning KW - Perception KW - Gesichtsanimation KW - Motion Capture KW - Retargeting KW - Skinning KW - Wahrnehmung KW - Gesichtserkennung KW - Mimik KW - Merkmalsextraktion KW - Motion Capturing Y1 - 2021 UR - https://opus4.kobv.de/opus4-btu/frontdoor/index/index/docId/5604 UR - https://nbn-resolving.org/urn:nbn:de:kobv:co1-opus4-56043 ER -