TY - THES A1 - Noack, Tino T1 - A knowledge discovery cycle for monitoring mobile cyber-physical systems T1 - Ein Knowledge Discovery Cycle zur Überwachung mobiler cyber-physikalischer Systeme N2 - Mobile cyber-physical systems (MCPSs) such as motor vehicles, railed vehicles, aircraft, or spacecraft are commonly used in our life today. These systems are location-independent and embedded in a physical environment which is usually harsh and uncertain. MCPSs are equipped with a wide range of sensors that continuously produce sensor data streams. It is mandatory to process these data streams in an appropriate manner in order to satisfy different monitoring objectives, and it is anticipated that the complexity of MCPSs will continue to increase in the future. For instance, this includes the system description and the amount of data that must be processed. Accordingly, it is necessary to monitor these systems in order to provide reliability and to avoid critical damage. Monitoring is usually a semi-automatic process while human experts are responsible for consequent decisions. Thus, appropriate monitoring approaches are required to both provide a reasonably precise monitoring process and to reduce the complexity of the monitoring process itself. The contribution of the present thesis is threefold. First, a knowledge discovery cycle (KDC) has been developed, which aims to combine the research areas of knowledge discovery in databases and knowledge discovery from data streams to monitor MCPSs. The KDC is a cyclic process chain comprising an online subcycle and an offline subcycle. Second, a new data stream anomaly detection algorithm has been developed. Since it is necessary to identify a large number of system states automatically during operation, data stream anomaly detection becomes a key task for monitoring MCPSs. Third, the KDC and the anomaly detection algorithm have been prototypically implemented and a case study has been performed in a real world scenario relating to the ISS Colombus module. N2 - Mobile cyber-physikalische Systeme (MCPS) wie z.B. Kraft-, Schienen-, Luft- oder Raumfahrzeuge sind in der heutigen Zeit sehr weit verbreitet. Diese Systeme sind ortsunabhängig und in eine raue bzw. unsichere physikalische Umwelt eingebettet. MCPS sind mit einer Vielzahl von Sensoren ausgestattet, die kontinuierlich Sensordatenströme erzeugen. Um den unterschiedlichen Zielsetzungen der Überwachung gerecht zu werden, ist eine angemessene Verarbeitung dieser Sensordaten wichtig. Es zeichnet sich ab, dass die Komplexität von MCPS in der Zukunft weiter steigt. Damit sind die Systembeschreibung sowie die Menge der zu verarbeitenden Daten gemeint. Aus diesem Grund und um die Zuverlässigkeit der Systeme zu gewährleisten sowie kritische Systemausfälle zu vermeiden, ist eine Überwachung zwingend notwendig. Der Überwachungsprozess ist üblicherweise semi-automatisch und menschliche Experten sind verantwortlich für die getroffenen Entscheidungen. Daher werden Überwachungsansätze benötigt, die eine angemessen präzise Überwachung ermöglichen und gleichzeitig die Komplexität des Überwachungsprozesses verringern. Der Beitrag der vorliegenden Arbeit ist dreigeteilt. Zunächst wird ein Knowledge Discovery Cycle (KDC) entwickelt, der die Forschungsgebiete Wissensentdeckung in Datenbanken und Wissensentdeckung aus Datenströmen miteinander kombiniert. Weiterhin wird ein neuer Algorithmus für die Anomalieerkennung in Datenströmen vorgestellt. Für die Überwachung von MCPS ist eine Unterscheidung in verschiedene Systemzustände notwendig. Daher wird die Anomalieerkennung in Datenströmen zu einer Schlüsselaufgabe. Zuletzt werden der KDC und der vorgestellte Algorithmus zur Anomalieerkennung prototypisch implementiert und eine Fallstudie durchgeführt. Diese Fallstudie basiert auf einem realen Szenario, welches sich auf das Columbus-Modul der internationalen Raumstation ISS bezieht. KW - Knowledge Discovery Cycle KW - Mobile Cyber-Physical System KW - Monitoring KW - Data Mining KW - Anomaly Detection KW - Anomalieerkennung KW - Data Mining KW - Überwachung KW - Mobiles cyber-physikalisches System KW - Knowledge Discovery Cycle KW - Columbus KW - Data Mining KW - Zustandsüberwachung Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-33676 ER - TY - THES A1 - Zellhöfer, David T1 - A preference-based relevance feedback approach for polyrepresentative multimedia retrieval T1 - Ein Präferenz-basierter Relevance-Feedback-Ansatz für Polyrepräsentatives Multimedia Retrieval N2 - The search for textual information, e.g., in the form of webpages, is a typical task in modern business and private life. From a user's point of view, the commonly used systems have matured and established common interaction design patterns such as the textual input box that starts virtually every directed search process. In comparison, the search for multimedia documents (e.g., images or videos) is still in its early years. In other words, a pre-dominant search strategy has not yet evolved. That is, directed and exploratory search approaches fight for user acceptance. One further discriminative factor of multimedia information retrieval (MMIR) from traditional text-based information retrieval (IR) is that multimedia documents are not necessarily stored with the help of the same data access paradigm. From a technical point of view, the use of different data access paradigms complicates the retrieval from such collections because the utilized retrieval model has to support these paradigms. As a consequence, the main challenges in MMIR - the retrieval engine and the user interaction -- have to be addressed in a holistic way. A holistic theoretic perspective on MMIR/IR research is taken by principle of polyrepresentation (PoP), which forms one half of the theoretic background of this dissertation aiming at the development of a preference-based approach to interactive MMIR. Roughly speaking, the PoP theorizes that representations describing a document are based on various cognitive processes dealing with it, e.g., a title, its color or shape features, its creator, or its date of creation. This multitude of representations can be fused to form a conjunctive cognitive overlap (CO) in which highly relevant documents are likely to be contained. This explicit recommendation discriminates the PoP from typical feature fusion approaches often used in MMIR. However, the PoP does not answer how a retrieval model has to be implemented in a technical sense which is of interest in the field of computer science. One possibility to implement the PoP are quantum mechanics-inspired IR models such as the commuting quantum query language (CQQL) which is used in this thesis. CQQL is particularly interesting because it integrates data access paradigms used in the fields of DB and IR. In order to respect the dynamic nature of the search process and information need (IN), CQQL allows the personalization of retrieval results using a preference-based relevance feedback (RF) approach called PrefCQQL, which relies on machine-based learning. Unique features of the PrefCQQL approach range from the support of negative query-by-example (QBE) documents at query formulation time as well as during the interactive retrieval process to the formulation of weak preferences between result documents to express gradual levels of relevance. In addition, inductive preferences can be used from query formulation time onward to learn new CQQL queries. In order to evaluate the presented polyrepresentative PrefCQQL approach, two kinds of experiments are conducted: a Cranfield-inspired evaluation of CQQL/PrefCQQL's retrieval effectiveness, which is extended by the utilization of user simulations to better fit the requirements of the evaluation of an adaptive IR system, and a usability study that examines three alternative MMIR system UI prototypes. In order to increase the reproducibility and confirmability of the experiments, the source code to all used programs is made available as a supplement to this dissertation. The mentioned experiments aim at answering two central questions: first, whether the hypotheses of the PoP can be verified in MMIR, and second, whether a usable interactive MMIR system can be built on the basis of the PoP and PrefCQQL? To answer the first question, different matching functions that partly follow the recommendations of the PoP are evaluated with six different test collections in both an non-interactive and interactive QBE scenario. The results of this experiment are ambivalent. In non-interactive MMIR, the experimental data does not provide sufficient justification for the statement that PoP-based matching functions will always surpass single features or other matching functions. For instance, the arithmetic mean, which calculates the average similarity between a query's representations and the documents' representations in the collection, surpasses the conjunction and hence the CO of multiple representations in terms of retrieval effectiveness. Nevertheless, the matching function following the PoP is effectiveness stabler than the best performing single representations per collection. Hence, the CO's retrieval performance is more reliable than the usage of single representations. In contrast, the predictions of the PoP can be verified in the investigated PrefCQQL-based interactive MMIR scenario. However, it is important to note that also the number of available representations has an impact on the retrieval outcome. That is, if too few representations are present in a matching function, the corresponding IN model in PrefCQQL obviously becomes subject to underfitting eventually lowering its retrieval effectiveness. Unfortunately, when the point of sufficient representations to support PrefCQQL is reached could not be revealed in this dissertation. The second question is answered with the help of a prototypical MMIR system: the Pythia system, which serves both as proof of concept of the CQQL and the PrefCQQL approach. Furthermore, the system supports different information seeking strategies and a seamless transition between them in order to support users with different kinds of IN. N2 - Die Suche nach textueller Information stellt eine typische Aufgabe im modernen Geschäfts- und Privatleben dar. Aus Nutzersicht sind die hierfür verwendeten Systeme gereift und es haben sich typische Interaktionsmechanismen, wie die Texteingabeaufforderung, welche beinahe jede gerichtete Suche startet, herausgebildet. Im Vergleich dazu befindet sich die Suche nach multimedialen Dokumenten aus Nutzersicht noch in den sogenannten Kinderschuhen. Hier kämpfen gerichtete und explorative Suchansätze nach wie vor um Nutzerakzeptanz. Ein weiterer Punkt, der Multimedia Information Retrieval (MMIR) vom traditionellen, Text-basierten Information Retrieval (IR) unterscheidet, ist der Umstand, dass Multimediadokumente nicht notwendigerweise mittels des gleichen Datenzugriffsparadigmas gespeichert sind. Dieser Zustand verkompliziert die Suche in solchen Datenbeständen, da das zu verwendende Retrieval-Modell die jeweiligen Datenzugriffsparadigmen unterstützen muss. Konsequenterweise müssen die Hauptherausforderungen des MMIR, das Retrieval-Subsystem und die Nutzerinteraktion, ganzheitlich angegangen werden. Solch einen ganzheitlichen, theoretischen Blick auf die MMIR/IR-Forschung wirft das Prinzip der Polyrepräsentation (PdP), das eine Hälfte des theoretischen Hintergrunds dieser Dissertation darstellt. Das PdP geht davon aus, dass verschiedene Repräsentationen, die ein Dokument beschreiben, auf unterschiedlichen, kognitiven Prozessen basieren. Diese Vielzahl an Repräsentationen kann in einer konjunktiven, kognitiven Überlappung (KÜ) zusammengeführt werden. Hierbei wird angenommen, dass relevante Dokumente in diesem Bereich liegen. Diese explizite Annahme unterscheidet das PdP von anderen Feature-Fusionsansätzen, die sonst häufig beim MMIR Verwendung finden. Das PdP als kognitives Modell trifft jedoch keine Aussagen darüber, wie ein entsprechendes Retrieval-Subsystem implementiert werden kann - eine wesentliche Fragestellung der angewandten Informatik. Eine Möglichkeit der Implementierung des PdP stellen Quantenmechanik-basierte IR-Modelle, wie die Commuting Quantum Query Language (CQQL), dar, welche auch im Rahmen dieser Dissertation verwendet wird. Die Wahl fällt hierbei auf CQQL, da sie typische Datenzugriffsparadigmen aus den Gebieten DB und IR unterstützt. Außerdem erlaubt CQQL die Personalisierung von Suchergebnissen mittels des Präferenz-basierten Relevance-Feedback-Ansatzes (RF) PrefCQQL, welcher auf maschinellen Lernverfahren basiert. Alleinstellungsmerkmale von PrefCQQL stellen dabei die Unterstützung von negativen Query-by-Example-Dokumenten (QBE) sowohl zu Beginn als auch während der Suche dar. Außerdem können induktive, schwache Präferenzen genutzt werden, um die Relevanz von Ergebnisdokumenten feingranular zu bewerten. Ferner können induktive Präferenzen bereits zur Anfrageerstellung genutzt werden, so dass sich im Prinzip sämtliche Nutzerinteraktion während der Suche mit PrefCQQL umsetzen lässt. Zur Evaluierung des vorgestellten, polyrepräsentativen PrefCQQL-Ansatzes werden zwei Arten von Experimenten durchgeführt: eine Evaluierung der Retrieval-Effektivität von CQQL/PrefCQQL auf Grundlage des Cranfield-Paradigmas, welches um Nutzersimulationen erweitert wurde, um den Anforderungen an die Bewertung von interaktiven MMIR-Systemen gerecht zu werden; und eine Usability-Studie, welche drei funktional unterschiedliche Benutzerschnittstellen eines MMIR-Systems vergleicht. Um die Reproduzierbarkeit und Nachvollziehbarkeit der Experimente sicherzustellen, ist der Quellcode sämtlicher Anwendungen im Anhang zu dieser Dissertation zu finden. Die beschriebenen Experimente beantworten zwei zentrale Fragen: 1), ob die Hypothesen des PdP im Anwendungsgebiet des MMIR verifizierbar sind und 2), ob ein nutzbares, interaktives MMIR-System auf Grundlagen des PdP und von PrefCQQL implementiert werden kann? Um die erste Frage beantworten zu können, werden verschiedene Matching-Funktionen, die teilweise dem PdP folgen, mit sechs unterschiedlichen Testdatensätzen, sowohl in einem nicht interaktiven, als auch interaktiven QBE-Szenario gegenübergestellt. Die Ergebnisse dieses Experiments sind uneindeutig.Im nicht interaktiven Fall zeigt sich keine Überlegenheit der Matching-Funktionen, welche auf dem PdP basieren, gegenüber der Nutzung einzelner Features oder anderen Matching-Funktionen. So übertrifft die Retrieval-Effektivität des arithmetischen Mittels aller Repräsentationen, die der Konjunktion der vorhandenen Repräsentationen, welche der KÜ entspricht. Nichtsdestotrotz zeigt sich, dass Matching-Funktionen, welche dem PdP folgen, stabiler bezüglich ihrer Effektivität sind als Einzelfeatures. Folglich ist die Leistung der PdP-basierten Funktionen verlässlicher. Im interaktiven Szenario, also während der Verwendung von PrefCQQL, können die Voraussagen des PdP verifiziert werden. Die zweite Frage wird mithilfe eines prototypischen MMIR-Systems beantwortet, dem Pythia-System, welches als Machbarkeitsstudie eines interaktiven Retrieval-Systems auf Basis von CQQL und PrefCQQL dient. Des weiteren unterstützt das System unterschiedliche Suchstrategien sowie einen nahtlosen Wechsel zwischen diesen, um Nutzer mit verschiedenen IB bestmöglich zu unterstützen. KW - Quantum logic-based information retrieval KW - Interactive multimedia retrieval KW - Principle of polyrepresentation KW - Content-based image retrieval KW - Feature fusion KW - Content-based Image Retrieval KW - Feature Fusion KW - Interaktives Multimedia Retrieval KW - Prinzip der Polyrepräsentation KW - Quantenlogik-basiertes Information Retrieval KW - Multimedia KW - Information Retrieval Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-35218 ER - TY - THES A1 - Saha, Sanjit Kumar T1 - A relevance feedback approach for social network clustering in the context of triangle inequality violations T1 - Ein Relevanz-Feedback-Ansatz für das Clustering sozialer Netzwerke im Kontext von Dreiecks-Ungleichheitsverstößen N2 - People in a social network are connected, and their homogeneity is reflected by the similarity of their attributes. For effective clustering, the similarities among people within a cluster must be much higher than the similarities between different clusters. Traditional clustering algorithms like hierarchical (agglomerative) or k-medoids take distances between objects as input and find clusters of objects. The distance functions used should comply with the triangle inequality (TI) property, but sometimes this property may be violated, thus negatively impacting the quality of the generated clusters. However, in social networks, meaningful clusters can be found even though TI violates. One possibility is a quantum-logic-based clique-guided non-TI clustering approach. The commuting quantum query language (CQQL) is the base for this approach. The CQQL allows the formulation of queries that incorporate both Boolean and similarity conditions. It calculates the similarity value between two objects. Furthermore, attributes may not have equal impact on similarity and affect the resulting clusters. CQQL incorporates weights to express the varying importance of sub-conditions in a query while preserving consistency with Boolean algebra. This enables personalization of results through relevance feedback (RF). The main challenge of comparing clusterings is that there is no ground truth data. In such situations, human-generated gold standard clustering can be used. The question is how to compare the performance of clusterings. A noteworthy technique involves counting the pairs of objects that are grouped identically in both clusterings. By doing so, a clustering distance is calculated that measures the dissimilarity. To validate the non-TI clustering approach, experiments are conducted on social networks of different sizes. Three central questions are addressed by the experiments mentioned: first, is it possible to find meaningful clusters even though TI violates; second, how does a user interact with the system to provide feedback based on their needs; and third, how fast do the detected clusters based on the proposed approach converge to the ideal solution? To sum up, the experiments’ objective is to demonstrate the validity of a theoretical approach. The research findings presented here provide sufficient evidence for detecting meaningful clusters based on user interaction. Furthermore, the experiments clearly demonstrate that the non-TI clustering approach can be used as an RF technique in clustering. N2 - Menschen in einem sozialen Netzwerk sind miteinander verbunden. Ihre Homogenität spiegelt sich in der Ähnlichkeit ihrer Eigenschaften wider. Für ein effektives Clusterbildung müssen die Ähnlichkeiten zwischen Personen innerhalb eines Clusters größer sein als die Ähnlichkeiten zwischen Personen verschiedener Cluster. Herkömmliche Clustering Algorithmen wie etwa hierarchisches (agglomeratives) oder k-Medoids nutzen Abstände zwischen Objekten zum Finden von Clustern von Objekten. Die verwendete Abstandsfunktion sollte die Eigenschaft der Dreiecksungleichheit (TI) aufweisen, aber manchmal kann diese Eigenschaft verletzt sein, was sich negativ auf die Qualität der erzeugten Cluster auswirken kann. In sozialen Netzwerken können jedoch sinnvolle Cluster gefunden werden, auch wenn die TI verletzt wird. Eine Möglichkeit ist ein auf Quantenlogik basierende cliquengesteuerten Non-TI-Clustering-Ansatz. Die Commuting Quantum Query Language (CQQL) ist die Grundlage für diesen Ansatz. Die CQQL erlaubt die Formulierung von Abfragen, die sowohl Boole’sche als auch Ähnlichkeitsbedingungen enthalten. Sie berechnet den Ähnlichkeitswert zwischen zwei Objekten. Darüber hinaus haben die Attribute möglicherweise nicht den gleichen Einfluss auf die Ähnlichkeit und beeinflussen die resultierenden Cluster. CQQL bietet ein Gewichtungsschema, um die unterschiedliche Wichtigkeit von Unterbedingungen in einer Abfrage auszudrücken, wobei jedoch die Konsistenz mit der Boole’schen Algebra gewahrt bleibt. Dies ermöglicht eine Personalisierung der Ergebnisse durch Relevanz-Feedback (RF). Die größte Herausforderung beim Vergleich von Clustern besteht darin, dass es keine Ground-Truth-Daten gibt. In solchen Situationen kann ein von Menschen erstelltes Goldstandard-Clustering verwendet werden. Die Frage ist, wie die Leistung von Clustern vergleichen kann. Eine bemerkenswerte Technik besteht darin, die Paare von Objekten zu zählen, die in beiden Clustern gleich gruppiert sind. Auf diese Weise wird ein Clustering-Abstand berechnet, der die Unähnlichkeit misst. Um den Non-TI-Clustering-Ansatzes zu überprüfen, werden Experimente mit sozialen Netzwerken unterschiedlicher Größe durchgeführt. Drei zentrale Fragen werden in den Experimenten behandelt: Erstens, ist es möglich, sinnvolle Cluster zu finden, auch wenn die TI verletzt wird; zweitens, wie interagiert ein Benutzer mit dem System, um Feedback auf der Grundlage seiner Bedürfnisse zu geben; und drittens, wie schnell konvergieren die Cluster auf der Grundlage des vorgeschlagenen zur idealen Lösung? Zusammenfassend lässt sich sagen, dass das Ziel der Experimente darin besteht, die Gültigkeit eines theoretischen Ansatzes zu demonstrieren. Die hier vorgestellten Forschungsergebnisse liefern ausreichenden Nachweis für die Erkennung von sinnvollen Clustern auf der Grundlage von Benutzerinteraktionen. Darüber hinaus zeigen die Experimente deutlich, dass der Non-TI-Clustering-Ansatz als RF-Technik für das Clustering verwendet werden kann. KW - Social network clustering KW - CQQL KW - Relevance feedback KW - Non-TI clustering KW - Clustering distance KW - Clustering sozialer Netzwerke KW - Relevanz-Feedback KW - Clustering-Abstand KW - Social media KW - Online-Community KW - Cluster-Analyse KW - Relevanz-Feedback Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-65199 ER - TY - THES A1 - Lehrack, Sebastian T1 - Efficient and flexible lineage construction for probabilistic databases T1 - Effiziente und flexible Konstruktion von Abstammungsformeln für probabilistische Datenbanken N2 - In contrast to traditional data applications, many real-world scenarios nowadays depend on managing and querying huge volumes of uncertain and incomplete data. This new type of applications emerge, for example, when we integrate data from various sources, analyse social/biological/chemical networks or conduct privacy-preserving data mining. A very promising concept addressing this new kind of probabilistic data applications has been proposed in the form of probabilistic databases. Here, a tuple only belongs to its table or query answer with a specific likelihood. That probability expresses the uncertainty about the given data or the confidence in the answer. The most challenging task for probabilistic databases is query evaluation. In fact, there are even simple relational queries for which determining the occurrence probability of a single answer tuple is hard for #P. Lineage formulas constitute the central concept under investigation in this work. In short, the mechanism behind lineage formulas facilitates the representation and evaluation of events of the probability space, which is defined by a probabilistic database. On the basis of lineage formulas, we devise a framework that is designed as a combination of a relational database layer and an additional probabilistic query engine. In particular, the following three aspects are studied: (i) an efficient construction of lineage formulas, (ii) an orthogonal combination of lineage optimization techniques, which are performed within the relational database layer and the probabilistic query engine, and (iii) effective and compact data structures to represent lineage formulas within a probabilistic query engine. The developed framework provides a novel lineage construction method that is able to construct nested lineage formulas, to avoid large tuple sets within the relational database layer tuples, and to provide full relational algebra support. In addition, the proposed system completely resolves the conflict between the contradicting query plans optimized for the relational database layer and the probabilistic query engine. N2 - Probabilistische Datenbanken standen in den letzten Jahren im Fokus intensiver Forschungsaktivitäten. Dies wurde durch eine Vielzahl von Anwendungsszenarien motiviert, in denen eine effiziente Verwaltung von großen, unsicheren Datenbeständen unabdingbar ist. Typische Anwendungsgebiete lassen sich leicht in den Bereichen der Datenextraktion und -integration, der wissenschaftlichen Datenauswertung und der Analyse von sensorischen und sozialen Netzwerken finden. In einer probabilistischen Datenbank wird jedes Datentupel mit einer Eintrittswahrscheinlichkeit annotiert. Diese verdeutlicht, mit welcher Wahrscheinlichkeit das jeweilige Tupel zu einer bestimmten Datentabelle bzw. zu einem berechneten Anfrageergebnis gehört. Für probabilistische Datenbanken ist die Berechnung der Eintrittswahrscheinlichkeit für ein Ergebnistupel die größte Herausforderung, da dieses Problem in der Komplexitätsklasse #P liegt. Diese Klasse beinhaltet alle Probleme, die mindestens so schwer sind wie das Zählen aller erfüllenden Modelle einer aussagenlogischen Formel. Es gilt NP ⊆ #P. Traditionell werden Auswertungsverfahren für probabilistische Datenbanken in intensionale und extensionale Ansätze unterteilt. Intensionale Ansätze greifen auf die Konstruktion und Auswertung von Abstammungsformeln zurück. Auf der Basis von Abstammungsformeln, die das zentrale Untersuchungsobjekt dieser Arbeit darstellen, können Ereignisse des Wahrscheinlichkeitsraumes einer probabilistischen Datenbank repräsentiert werden. In der vorliegenden Dissertation wird ein System entworfen, welches als Kombination einer relationalen Datenbank-Schicht und einer zusätzlichen probabilistischen Auswertungskomponente konzipiert ist. Hierbei werden folgende drei Hauptaspekte untersucht: (i) die effiziente Konstruktion von Abstammungsformeln, (ii) die orthogonale Kombination von Optimierungstechniken und (iii) die Entwicklung von effektiven und kompakten Datenstrukturen für die Kodierung von Abstammungsformeln für die probabilistische Auswertungskomponente. Die entwickelten Techniken ermöglichen die schnelle Generierung von geschachtelten Abstammungsformeln, die Vermeidung von großen Tupel-Mengen innerhalb der relationen Datenbank-Schicht und die Unterstützung aller relationalen Anfrage-Operatoren. KW - Probabilistic database KW - Lineage formula KW - Query evaluation KW - Uncertainty KW - Query optimization KW - Probabilistische Datenbank KW - Abstammungsformel KW - Anfrageauswertung KW - Unsicherheit KW - Anfrageoptimierung KW - Probabilistisches Datenbanksystem KW - Unsicherheit Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-40460 ER - TY - THES A1 - Sharifi Boroujerdi, Ali T1 - Linguistic interpretation of visual contents via Deep Learning T1 - Linguistische Interpretation visueller Inhalte durch Deep Learning N2 - The main part of the research outlined in this thesis is to develop Deep Learning models for the linguistic interpretation of the visual contents. This part is split into two research problems: interactive region segmentation and captioning, and selective texture labeling. In the first attempt, we proposed a novel hybrid Deep Learning architecture whereby the user is able to specify an arbitrary region of the image that should be highlighted and described. The proposed model alternates the bounding box indications of the standard object localization process with the output of a deep interactive segmentation module to achieve a better understanding of the dense image captioning and improve the object localization accuracy. The idea of the next part is to establish a bidirectional correlation between deep texture representation and its linguistic description via a hybrid CNN-RNN model that enables end-to-end learning of the selective texture labeling. This novel architecture provides new opportunities to describe, search, and also retrieve texture images from their linguistic descriptions. To be able to train such a model, we generated a multi-label texture dataset that covers color, material, and pattern labeling simultaneously. Our contribution to the automatic generation of texture descriptions provides an excellent opportunity to enrich the existing vocabulary of the image captioning. Such a conceptual extension can be used for fine-grained captioning applicable in geology, meteorology and other natural sciences where fine-grained image structures are of importance to understand complicated patterns. Apart from Deep Learning technologies, in the final section of the thesis, we proposed a novel approach to define mathematical morphology on color images. To this end, we converted common RGB-values of the color images into a new biconal color space and then combined two approaches of mathematical morphology to give meaning to the maximum and the minimum of the matrix field data and formulate our novel strategy. N2 - Der Hauptteil dieser Arbeit besteht darin, Deep Learning (DL) Modelle für die sprachliche Interpretation von visuellen Inhalten zu entwickeln. Dieser Teil ist in zwei Forschungsprobleme gegliedert: Interaktive Segmentierung und Beschriftung (Captioning) von Regionen und selektive Texturbeschriftung. Zur Lösung der ersten Aufgabenstellung wurde eine neue, hybride DL-Architektur vorgestellt, bei der der Benutzer eine beliebige Region eines Bildes anklicken kann, die automatisch segmentiert und sprachlich beschrieben werden soll. Das neue Modell wechselt die Bounding-Box-Indikationen des Standardobjektlokalisierungsprozesses mit der Ausgabe eines interaktiven, Deep Learning-basierten Segmentierungsmodules. Auf diese Weise wird ein besseres Resultat für das Captioning erzielt, und auch die Objektsegmentierung wird verbessert. Im zweiten Teil der neuen Entwicklungen wird eine wechselseitige Korrelation zwischen DL-basierten Texturrepräsentationen einerseits und deren sprachlicher Beschreibung andererseits mittels einer neuen, speziellen Konstruktion neuraler Netze hergestellt. Dieses neuartige, hybride CNN-RNN-Modell ermöglicht ein sogenanntes end-to-end Learning von Texturbeschreibungen. Wie aufgezeigt wird, entstehen durch die spezielle Architektur dieses neuralen Netzes neue Möglichkeiten zur Charakterisierung, gezielten Suche und zum Retrieval von texturierten Bildern mittels Eingabe sprachlicher Beschreibungen. Um ein solches Modell trainieren zu können, haben wir einen Multi-Label-Textur-Datensatz generiert, der Farbe, Material und Musterbeschriftung gleichzeitig abdeckt. Der Beitrag dieser Arbeit zur automatischen Generierung von Texturbeschreibungen bietet eine ausgezeichnete Möglichkeit, das bestehende Vokabular der Bildunterschriften zu erweitern. Eine solche konzeptionelle Erweiterung kann für feinkörnige Bildunterschriften in der Geologie, Meteorologie und anderen Naturwissenschaften verwendet werden, bei denen feinkörnige Bildstrukturen für das Verständnis komplexer Muster von Bedeutung sind. Im letzten Abschnitt der Arbeit wird abgesehen von Deep Learning-Technologien ein neuartiger Ansatz für die Realisierung von morphologischen Prozessen auf farbigen Bildern vorgestellt. Zu diesem Zweck haben wir gemeinsame RGB-Werte der farbigen Bilder in einen neuen bikonalen Farbraum umgewandelt und anschließend zwei Ansätze der mathematischen Morphologie kombiniert, um dem Maximum und dem Minimum der Matrixfelddaten Bedeutung zu verleihen und unsere neue Strategie zu formulieren. KW - Deep Learning KW - Computer vision KW - Linguistic Interpretation KW - Machine Learning KW - Texture description KW - Deep Learning KW - Computer Vision KW - Linguistische Interpretation KW - Maschinelles Lernen KW - Textur Beschreibung KW - Maschinelles Sehen KW - Computerlinguistik KW - Deep Learning Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-47184 ER -