Linguistic interpretation of visual contents via Deep Learning

Linguistische Interpretation visueller Inhalte durch Deep Learning

  • The main part of the research outlined in this thesis is to develop Deep Learning models for the linguistic interpretation of the visual contents. This part is split into two research problems: interactive region segmentation and captioning, and selective texture labeling. In the first attempt, we proposed a novel hybrid Deep Learning architecture whereby the user is able to specify an arbitrary region of the image that should be highlighted and described. The proposed model alternates the bounding box indications of the standard object localization process with the output of a deep interactive segmentation module to achieve a better understanding of the dense image captioning and improve the object localization accuracy. The idea of the next part is to establish a bidirectional correlation between deep texture representation and its linguistic description via a hybrid CNN-RNN model that enables end-to-end learning of the selective texture labeling. This novel architecture provides new opportunities to describe, search, and alsoThe main part of the research outlined in this thesis is to develop Deep Learning models for the linguistic interpretation of the visual contents. This part is split into two research problems: interactive region segmentation and captioning, and selective texture labeling. In the first attempt, we proposed a novel hybrid Deep Learning architecture whereby the user is able to specify an arbitrary region of the image that should be highlighted and described. The proposed model alternates the bounding box indications of the standard object localization process with the output of a deep interactive segmentation module to achieve a better understanding of the dense image captioning and improve the object localization accuracy. The idea of the next part is to establish a bidirectional correlation between deep texture representation and its linguistic description via a hybrid CNN-RNN model that enables end-to-end learning of the selective texture labeling. This novel architecture provides new opportunities to describe, search, and also retrieve texture images from their linguistic descriptions. To be able to train such a model, we generated a multi-label texture dataset that covers color, material, and pattern labeling simultaneously. Our contribution to the automatic generation of texture descriptions provides an excellent opportunity to enrich the existing vocabulary of the image captioning. Such a conceptual extension can be used for fine-grained captioning applicable in geology, meteorology and other natural sciences where fine-grained image structures are of importance to understand complicated patterns. Apart from Deep Learning technologies, in the final section of the thesis, we proposed a novel approach to define mathematical morphology on color images. To this end, we converted common RGB-values of the color images into a new biconal color space and then combined two approaches of mathematical morphology to give meaning to the maximum and the minimum of the matrix field data and formulate our novel strategy.show moreshow less
  • Der Hauptteil dieser Arbeit besteht darin, Deep Learning (DL) Modelle für die sprachliche Interpretation von visuellen Inhalten zu entwickeln. Dieser Teil ist in zwei Forschungsprobleme gegliedert: Interaktive Segmentierung und Beschriftung (Captioning) von Regionen und selektive Texturbeschriftung. Zur Lösung der ersten Aufgabenstellung wurde eine neue, hybride DL-Architektur vorgestellt, bei der der Benutzer eine beliebige Region eines Bildes anklicken kann, die automatisch segmentiert und sprachlich beschrieben werden soll. Das neue Modell wechselt die Bounding-Box-Indikationen des Standardobjektlokalisierungsprozesses mit der Ausgabe eines interaktiven, Deep Learning-basierten Segmentierungsmodules. Auf diese Weise wird ein besseres Resultat für das Captioning erzielt, und auch die Objektsegmentierung wird verbessert. Im zweiten Teil der neuen Entwicklungen wird eine wechselseitige Korrelation zwischen DL-basierten Texturrepräsentationen einerseits und deren sprachlicher Beschreibung andererseits mittels einer neuen, speziellenDer Hauptteil dieser Arbeit besteht darin, Deep Learning (DL) Modelle für die sprachliche Interpretation von visuellen Inhalten zu entwickeln. Dieser Teil ist in zwei Forschungsprobleme gegliedert: Interaktive Segmentierung und Beschriftung (Captioning) von Regionen und selektive Texturbeschriftung. Zur Lösung der ersten Aufgabenstellung wurde eine neue, hybride DL-Architektur vorgestellt, bei der der Benutzer eine beliebige Region eines Bildes anklicken kann, die automatisch segmentiert und sprachlich beschrieben werden soll. Das neue Modell wechselt die Bounding-Box-Indikationen des Standardobjektlokalisierungsprozesses mit der Ausgabe eines interaktiven, Deep Learning-basierten Segmentierungsmodules. Auf diese Weise wird ein besseres Resultat für das Captioning erzielt, und auch die Objektsegmentierung wird verbessert. Im zweiten Teil der neuen Entwicklungen wird eine wechselseitige Korrelation zwischen DL-basierten Texturrepräsentationen einerseits und deren sprachlicher Beschreibung andererseits mittels einer neuen, speziellen Konstruktion neuraler Netze hergestellt. Dieses neuartige, hybride CNN-RNN-Modell ermöglicht ein sogenanntes end-to-end Learning von Texturbeschreibungen. Wie aufgezeigt wird, entstehen durch die spezielle Architektur dieses neuralen Netzes neue Möglichkeiten zur Charakterisierung, gezielten Suche und zum Retrieval von texturierten Bildern mittels Eingabe sprachlicher Beschreibungen. Um ein solches Modell trainieren zu können, haben wir einen Multi-Label-Textur-Datensatz generiert, der Farbe, Material und Musterbeschriftung gleichzeitig abdeckt. Der Beitrag dieser Arbeit zur automatischen Generierung von Texturbeschreibungen bietet eine ausgezeichnete Möglichkeit, das bestehende Vokabular der Bildunterschriften zu erweitern. Eine solche konzeptionelle Erweiterung kann für feinkörnige Bildunterschriften in der Geologie, Meteorologie und anderen Naturwissenschaften verwendet werden, bei denen feinkörnige Bildstrukturen für das Verständnis komplexer Muster von Bedeutung sind. Im letzten Abschnitt der Arbeit wird abgesehen von Deep Learning-Technologien ein neuartiger Ansatz für die Realisierung von morphologischen Prozessen auf farbigen Bildern vorgestellt. Zu diesem Zweck haben wir gemeinsame RGB-Werte der farbigen Bilder in einen neuen bikonalen Farbraum umgewandelt und anschließend zwei Ansätze der mathematischen Morphologie kombiniert, um dem Maximum und dem Minimum der Matrixfelddaten Bedeutung zu verleihen und unsere neue Strategie zu formulieren.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar Stastistics
Metadaten
Author: Ali Sharifi Boroujerdi
URN:urn:nbn:de:kobv:co1-opus4-47184
Referee / Advisor:Prof. Dr. rer. nat. habil. Michael Breuß, Prof. Dr.-Ing. Ingo Schmitt
Document Type:Doctoral thesis
Language:English
Year of Completion:2018
Date of final exam:2018/06/15
Release Date:2019/04/17
Tag:Computer Vision; Deep Learning; Linguistische Interpretation; Maschinelles Lernen; Textur Beschreibung
Computer vision; Deep Learning; Linguistic Interpretation; Machine Learning; Texture description
GND Keyword:Maschinelles Sehen; Computerlinguistik; Deep Learning
Institutes:Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Angewandte Mathematik
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.