TY - THES A1 - Castillo Alejandre, Susana T1 - Digital humanity: the temporal and semantic structure of dynamic conversational facial expressions T1 - Digitale Menschlichkeit: Die zeitliche und semantische Struktur dynamischer Gesichtsausdrücke im Gespräch N2 - This thesis focuses on establishing a - theoretically founded and empirically derived - novel methodological pipeline to provide Embodied Conversational Agents (ECAs) with natural facial expressions and desired personality traits. After giving an overview on the content of this thesis, we dedicate its second part to derive the Semantic Space (SSp) for facial expressions, finding that the same space is used for expression words, expression videos, and motion-capture-based point-cloud animations. The process involved the creation of a new facial expression database using Motion Capture (MoCap) technology. Our technique can be used to empirically map specific motion trajectories (including their frequency-decomposition) onto specific perceptual attributes, allowing the targeted creation of novel animations with the desired perceptual traits, as exemplified in the third part of this thesis. Before addressing our final conclusions and, on the grounds that the systematic differences between individuals while performing the same facial expressions are related to their personality, we devote the fourth part of this thesis to the study of the mapping between personality and expressive facial motions. N2 - Diese Arbeit konzentriert sich darauf eine - theoretisch fundierte und empirisch belegte - neue methodologische Pipeline bereitzustellen, um Embodied Conversational Agents (ECAs) mit natürlichen Gesichtsausdrücken und gewünschten Persönlichkeitseigenschaften auszustatten. Nachdem ein Überblick über den Inhalt der Arbeit gegeben wurde, wird sich der zweite Teil der Dissertation mit der Herleitung des Semantic Space (SSp) für Gesichtsausdrücke beschäftigen und dem Belegen das selbiger SSp sowohl für die Wörter, die zum Beschreiben der gegebenen Gesichtsausdrücke genutzt werden, als auch für Kameravideos und für Motion-Capture basierte Punktwolken-Animationen genutzt werden kann. Dafür musste eine neue Ausdrucksdatenbank mit Hilfe der Motion Capture (MoCap) Technologie angefertigt werden. Unsere Technik erlaubt es bestimmte Bewegungskurven (inklusive deren Frequenz) auf spezifische wahrgenommene Attribute abzubilden und damit gezielt neue Animation mit gewünschten Persönlichkeitseigenschaften zu erschaffen, dies wird im dritten Teil der Dissertation veranschaulicht. Bevor wir abschließende Schlussfolgerungen ziehen, widmet sich der vierte Teil der Dissertation, basierend auf der Grundlage, dass unterschiedliche Individuen gleiche Gesichtsausdrücke auf Basis ihrer Persönlichkeit anders darstellen, einer Studie, welche eine Abbildung von Persönlichkeit und ausdrucksvollen Gesichtsbewegungen vorsieht. KW - Facial Animation KW - Cognitive-based behavioural modelling KW - Motion capture KW - Personality KW - Gesichtsanimation KW - Kognitiv-basierte Verhaltensmodellierung KW - Persönlichkeit KW - Merkmalsextraktion KW - Motion Capturing KW - Mimik KW - Computeranimation Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-51562 ER - TY - THES A1 - Kniemeyer, Ole T1 - Design and implementation of a graph grammar based language for functional-structural plant modelling T1 - Entwurf und Implementation einer auf Graph-Grammatiken beruhenden Sprache zur Funktions-Struktur-Modellierung von Pflanzen N2 - Increasing biological knowledge requires more and more elaborate methods to translate the knowledge into executable model descriptions, and increasing computational power allows to actually execute these descriptions. Such a simulation helps to validate, extend and question the knowledge. For plant modelling, the well-established formal description language of Lindenmayer systems reaches its limits as a method to concisely represent current knowledge and to conveniently assist in current research. On one hand, it is well-suited to represent structural and geometric aspects of plant models - of which units is a plant composed, how are these connected, what is their location in 3D space -, but on the other hand, its usage to describe functional aspects - what internal processes take place in the plant structure, how does this interact with the structure - is not as convenient as desirable. This can be traced back to the underlying representation of structure as a linear chain of units, while the intrinsic nature of the structure is a tree or even a graph. Therefore, we propose to use graphs and graph grammars as a basis for plant modelling which combines structural and functional aspects. In the first part of this thesis, we develop the necessary theoretical framework. Starting with a presentation of the state of the art concerning Lindenmayer systems and graph grammars, we develop the formalism of relational growth grammars as a variant of graph grammars. We show that this formalism has a natural embedding of Lindenmayer systems which keeps all relevant properties, but represents branched structures directly as axial trees and not as linear chains with indirect encoding of branches. In the second part, we develop the main practical result, the XL programming language as an extension of the Java programming language by very general rule-based features. Short examples illustrate the application of the new language features. We describe the built-in pattern matching algorithm of the implemented run-time system for the XL programming language, and we sketch a possible implementation of an XL compiler. The third part is an application of relational growth grammars and the XL programming language. We show how the general XL interfaces can be customized for relational growth grammars. On top of this customization, several examples from a variety of disciplines demonstrate the usefulness of the developed formalism and language to describe plant growth, especially functional-structural plant models, but also artificial life, architecture or interactive games. Some examples operate on custom graphs like XML DOM trees or scene graphs of commercial 3D modellers, while the majority uses the 3D modelling platform GroIMP, a software developed in conjunction with this thesis. The appendix gives an overview of the GroIMP software. The practical usage of its plug-in for relational growth grammars is also illustrated. N2 - Das zunehmende Wissen über biologische Prozesse verlangt nach geeigneten Methoden, es in ausführbare Modelle zu übersetzen, und die zunehmende Rechenleistung der Computer ermöglicht es, diese Modelle auch tatsächlich auszuführen. Solche Simulationen dienen zur Validierung, Erweiterung und Hinterfragung des Wissens. Speziell für die Pflanzenmodellierung wurden Lindenmayer-Systeme mit Erfolg eingesetzt, jedoch stoßen diese bei aktuellen Modellierungsproblemen und Forschungsvorhaben an ihre Grenzen. Zwar sind sie gut geeignet, Pflanzenstruktur und Geometrie abzubilden - aus welchen Einheiten setzt sich eine Pflanze zusammen, wie sind diese verbunden, wie ist ihre räumliche Lage -, aber die lineare Datenstruktur erschwert die Integration von Funktionsmodellen, welche Prozesse innerhalb der verzweigten Struktur und des beanspruchten Raumes beschreiben. Daher wird in dieser Arbeit vorgeschlagen, anstelle der linearen Stuktur Graphen und Graph-Grammatiken als Grundlage für die kombinierte Funktions-Struktur-Modellierung von Pflanzen zu verwenden. Im ersten Teil der Dissertation wird der theoretische Unterbau entwickelt. Nach einer Vorstellung des aktuellen Wissensstandes auf dem Gebiet der Lindenmayer-Systeme und Graph-Grammatiken werden relationale Wachstumsgrammatiken eingeführt, die auf bekannten Mechanismen für parallele Graph-Grammatiken aufbauen und Lindenmayer-Systeme als Spezialfall enthalten, dabei jedoch verzweigte Strukturen direkt als axiale Bäume darstellen. Zur praktischen Anwendung wird im zweiten Teil die Programmiersprache XL entwickelt, die Java um allgemein gehaltene Sprachkonstrukte für Graph-Grammatiken erweitert. Kurze Beispiele zeigen die Anwendung der neuen Sprachmerkmale. Der Algorithmus zur Mustersuche wird erläutert, und die Implementation des XL-Compilers wird vorgestellt. Im dritten Teil werden mögliche Anwendungen relationaler Wachstumsgrammatiken aufgezeigt. Dazu werden zunächst die allgemeinen XL-Schnittstellen für relationale Wachstumsgrammatiken konkretisiert, um dieses System dann für Modelle aus verschiedenen Bereichen zu nutzen, darunter Funktions-Struktur-Modelle von Pflanzen, Künstliches Leben, Architektur und interaktive Spiele. Einige Beispiele nutzen spezifische Graphen wie XML-DOM-Bäume oder Szenengraphen kommerzieller 3D-Modellierprogramme, aber der überwiegende Teil baut auf der 3D-Plattform GroIMP auf, die zusammen mit dieser Dissertation entwickelt wurde. Im Anhang wird die Software GroIMP kurz vorgestellt und ihre praktische Anwendung für relationale Wachstumsgrammatiken erläutert. KW - Computersimulation KW - Graph-Grammatik KW - Lindenmayer-System KW - Biologisches Modell KW - Verzweigung KW - Computersimulation KW - Graph-Grammatik KW - Lindenmayer-System KW - Biologisches Modell KW - Verzweigung KW - Computer simulation KW - Graph grammar KW - Lindenmayer system KW - Biological model KW - Ramification (botany) Y1 - 2008 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus-5937 ER - TY - THES A1 - Legde, Katharina T1 - Projecting motion capture : designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects T1 - Projektion von Motion Capture : Design und Implemntierung einer modularen und flexiblen Gesichtsanimationspipeline zur Evaluation unterschiedlicher Wahrnehmungseffekte N2 - We can not not communicate, humans use body language and facial expressions to communicate verbally and non-verbally with others. Humans are experts at deciphering and understanding facial expressions. Thus, synthesizing them on a virtual face becomes a very challenging task. Realistic facial animations have various applications like movies, games or affective interfaces. Often motion capture recordings of real humans are used to provide the virtual face with realistic motion. Animation controls need to be established to transfer the captured motion onto the virtual face. To mimic the full essence of the captured motion, these animation controls need to be carefully planned beforehand which is accompanied with high effort in terms of spent time and money. The presented thesis would like to offer an alternative approach to the common performance-driven facial animation techniques. Instead of using motion capture to drive a pre-defined blend-shape rig, this thesis projects motion capture directly onto a facial mesh. Throughout the proposed pipeline, different methods for retargeting, rigging and skinning are evaluated. Special attention is given to the fact that the origin of motion capture and the appearance of the virtual face does not need to be identical. A constraint for this approach to work is clean motion capture data. For that, this thesis offers an automatic way to clean facial motion trajectories and establishes stable and coherent motion curves. To not just give insights about the capability of the proposed pipeline but also to provide valuable results in the field of perception of virtual avatars, perceptual experiments are conducted. These experiments reveal the functionality of the pipeline and show that it is possible to re-use motion capture on different virtual faces. Additionally, the proposed pipeline is used as a tool to investigate into the perception of non-verbal communication for virtual avatars. N2 - Man kann nicht nicht kommunizieren, Menschen nutzen Körpersprache und Gesichtsausdrücke, um untereinander zu kommunizieren. Dabei werden nicht nur verbal Informationen ausgetauscht, sondern auch nonverbal. Da wir im Alltag ständig mit den verschiedensten Gesichtsausdrücken konfrontiert werden, haben wir notwendigerweise, im Laufe der Evolution, gelernt, diese zu deuten und zu verstehen, um uns optimal verständigen zu können. Aus diesem Grund muss Gesichtsausdrücken eine gesonderte Beachtung zukommen, wenn sie synthetisch hergestellt werden sollen. Realistische Gesichtsanimationen spielen in der Unterhaltungsindustrie und im Forschungsfeld von virtuellen Agenten eine große Rolle. Um realistische Gesichtsausdrücke auf virtuellen Gesichtern zu erzeugen, wird die Technik des Motion Capturings genutzt - dabei werden Bewegungskurven von echten Menschen dreidimensional aufgezeichnet. Die Bewegungen werden dann mit Hilfe von Kontrolleinheiten auf ein virtuelles Gesicht übertragen. Diese Kontrolleinheiten müssen ausgiebig im Voraus geplant werden, um die aufgezeichneten Bewegungen möglichst echt and präzise nachahmen zu können. Dies kostet oft sehr viel Zeit und Geld. Diese Doktorarbeit möchte eine effizientere Alternative anbieten, indem sie das Motion Capture direkt auf das virtuelle Gesicht projiziert. Das Besondere dieser Methode liegt in der Tatsache, dass der Ursprung des Motion Captures und des virtuellen Gesichts nicht identisch sein müssen. Weiterhin untersucht die Arbeit, welche Methode sich am Besten eignet, um die Motion Capture Marker an das virtuelle Gesicht zu binden. Damit die vorgeschlagene Methode korrekt funktioniert, muss das Motion Capture fehlerfrei sein und auch konsistent benannt werden. Im Zuge dessen bietet diese Arbeit eine Post-Processing Methode speziell für Gesichts-Motion-Capture-Daten an. Um nicht nur die Fähigkeit der vorgestellten Pipeline zu testen, sondern auch Einblicke in die menschliche Wahrnehmung von virtuellen Agenten zu bekommen, werden wahrnehmungspsychologische Experimente durchgeführt. Es hat sich herausgestellt, dass die erbrachte Animationspipeline in den Experimenten vielversprechende Ergebnisse geliefert hat und die Möglichkeit der Wiederverwendbarkeit des Motion Captures bewiesen wurde. Weiterhin kann bestätigt werden, dass die erbrachte Pipeline ein umfangreiches Tool für weitere Forschung in diesem Bereich bietet. KW - Facial animation KW - Motion capture KW - Retargeting KW - Skinning KW - Perception KW - Gesichtsanimation KW - Motion Capture KW - Retargeting KW - Skinning KW - Wahrnehmung KW - Gesichtserkennung KW - Mimik KW - Merkmalsextraktion KW - Motion Capturing Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-56043 ER -