TY - THES A1 - Castillo Alejandre, Susana T1 - Digital humanity: the temporal and semantic structure of dynamic conversational facial expressions T1 - Digitale Menschlichkeit: Die zeitliche und semantische Struktur dynamischer Gesichtsausdrücke im Gespräch N2 - This thesis focuses on establishing a - theoretically founded and empirically derived - novel methodological pipeline to provide Embodied Conversational Agents (ECAs) with natural facial expressions and desired personality traits. After giving an overview on the content of this thesis, we dedicate its second part to derive the Semantic Space (SSp) for facial expressions, finding that the same space is used for expression words, expression videos, and motion-capture-based point-cloud animations. The process involved the creation of a new facial expression database using Motion Capture (MoCap) technology. Our technique can be used to empirically map specific motion trajectories (including their frequency-decomposition) onto specific perceptual attributes, allowing the targeted creation of novel animations with the desired perceptual traits, as exemplified in the third part of this thesis. Before addressing our final conclusions and, on the grounds that the systematic differences between individuals while performing the same facial expressions are related to their personality, we devote the fourth part of this thesis to the study of the mapping between personality and expressive facial motions. N2 - Diese Arbeit konzentriert sich darauf eine - theoretisch fundierte und empirisch belegte - neue methodologische Pipeline bereitzustellen, um Embodied Conversational Agents (ECAs) mit natürlichen Gesichtsausdrücken und gewünschten Persönlichkeitseigenschaften auszustatten. Nachdem ein Überblick über den Inhalt der Arbeit gegeben wurde, wird sich der zweite Teil der Dissertation mit der Herleitung des Semantic Space (SSp) für Gesichtsausdrücke beschäftigen und dem Belegen das selbiger SSp sowohl für die Wörter, die zum Beschreiben der gegebenen Gesichtsausdrücke genutzt werden, als auch für Kameravideos und für Motion-Capture basierte Punktwolken-Animationen genutzt werden kann. Dafür musste eine neue Ausdrucksdatenbank mit Hilfe der Motion Capture (MoCap) Technologie angefertigt werden. Unsere Technik erlaubt es bestimmte Bewegungskurven (inklusive deren Frequenz) auf spezifische wahrgenommene Attribute abzubilden und damit gezielt neue Animation mit gewünschten Persönlichkeitseigenschaften zu erschaffen, dies wird im dritten Teil der Dissertation veranschaulicht. Bevor wir abschließende Schlussfolgerungen ziehen, widmet sich der vierte Teil der Dissertation, basierend auf der Grundlage, dass unterschiedliche Individuen gleiche Gesichtsausdrücke auf Basis ihrer Persönlichkeit anders darstellen, einer Studie, welche eine Abbildung von Persönlichkeit und ausdrucksvollen Gesichtsbewegungen vorsieht. KW - Facial Animation KW - Cognitive-based behavioural modelling KW - Motion capture KW - Personality KW - Gesichtsanimation KW - Kognitiv-basierte Verhaltensmodellierung KW - Persönlichkeit KW - Merkmalsextraktion KW - Motion Capturing KW - Mimik KW - Computeranimation Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-51562 ER - TY - THES A1 - Legde, Katharina T1 - Projecting motion capture : designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects T1 - Projektion von Motion Capture : Design und Implemntierung einer modularen und flexiblen Gesichtsanimationspipeline zur Evaluation unterschiedlicher Wahrnehmungseffekte N2 - We can not not communicate, humans use body language and facial expressions to communicate verbally and non-verbally with others. Humans are experts at deciphering and understanding facial expressions. Thus, synthesizing them on a virtual face becomes a very challenging task. Realistic facial animations have various applications like movies, games or affective interfaces. Often motion capture recordings of real humans are used to provide the virtual face with realistic motion. Animation controls need to be established to transfer the captured motion onto the virtual face. To mimic the full essence of the captured motion, these animation controls need to be carefully planned beforehand which is accompanied with high effort in terms of spent time and money. The presented thesis would like to offer an alternative approach to the common performance-driven facial animation techniques. Instead of using motion capture to drive a pre-defined blend-shape rig, this thesis projects motion capture directly onto a facial mesh. Throughout the proposed pipeline, different methods for retargeting, rigging and skinning are evaluated. Special attention is given to the fact that the origin of motion capture and the appearance of the virtual face does not need to be identical. A constraint for this approach to work is clean motion capture data. For that, this thesis offers an automatic way to clean facial motion trajectories and establishes stable and coherent motion curves. To not just give insights about the capability of the proposed pipeline but also to provide valuable results in the field of perception of virtual avatars, perceptual experiments are conducted. These experiments reveal the functionality of the pipeline and show that it is possible to re-use motion capture on different virtual faces. Additionally, the proposed pipeline is used as a tool to investigate into the perception of non-verbal communication for virtual avatars. N2 - Man kann nicht nicht kommunizieren, Menschen nutzen Körpersprache und Gesichtsausdrücke, um untereinander zu kommunizieren. Dabei werden nicht nur verbal Informationen ausgetauscht, sondern auch nonverbal. Da wir im Alltag ständig mit den verschiedensten Gesichtsausdrücken konfrontiert werden, haben wir notwendigerweise, im Laufe der Evolution, gelernt, diese zu deuten und zu verstehen, um uns optimal verständigen zu können. Aus diesem Grund muss Gesichtsausdrücken eine gesonderte Beachtung zukommen, wenn sie synthetisch hergestellt werden sollen. Realistische Gesichtsanimationen spielen in der Unterhaltungsindustrie und im Forschungsfeld von virtuellen Agenten eine große Rolle. Um realistische Gesichtsausdrücke auf virtuellen Gesichtern zu erzeugen, wird die Technik des Motion Capturings genutzt - dabei werden Bewegungskurven von echten Menschen dreidimensional aufgezeichnet. Die Bewegungen werden dann mit Hilfe von Kontrolleinheiten auf ein virtuelles Gesicht übertragen. Diese Kontrolleinheiten müssen ausgiebig im Voraus geplant werden, um die aufgezeichneten Bewegungen möglichst echt and präzise nachahmen zu können. Dies kostet oft sehr viel Zeit und Geld. Diese Doktorarbeit möchte eine effizientere Alternative anbieten, indem sie das Motion Capture direkt auf das virtuelle Gesicht projiziert. Das Besondere dieser Methode liegt in der Tatsache, dass der Ursprung des Motion Captures und des virtuellen Gesichts nicht identisch sein müssen. Weiterhin untersucht die Arbeit, welche Methode sich am Besten eignet, um die Motion Capture Marker an das virtuelle Gesicht zu binden. Damit die vorgeschlagene Methode korrekt funktioniert, muss das Motion Capture fehlerfrei sein und auch konsistent benannt werden. Im Zuge dessen bietet diese Arbeit eine Post-Processing Methode speziell für Gesichts-Motion-Capture-Daten an. Um nicht nur die Fähigkeit der vorgestellten Pipeline zu testen, sondern auch Einblicke in die menschliche Wahrnehmung von virtuellen Agenten zu bekommen, werden wahrnehmungspsychologische Experimente durchgeführt. Es hat sich herausgestellt, dass die erbrachte Animationspipeline in den Experimenten vielversprechende Ergebnisse geliefert hat und die Möglichkeit der Wiederverwendbarkeit des Motion Captures bewiesen wurde. Weiterhin kann bestätigt werden, dass die erbrachte Pipeline ein umfangreiches Tool für weitere Forschung in diesem Bereich bietet. KW - Facial animation KW - Motion capture KW - Retargeting KW - Skinning KW - Perception KW - Gesichtsanimation KW - Motion Capture KW - Retargeting KW - Skinning KW - Wahrnehmung KW - Gesichtserkennung KW - Mimik KW - Merkmalsextraktion KW - Motion Capturing Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-56043 ER -