Contextualized Access To Distributed And Heterogeneous Multimedia Data Sources

Kontextabhängiger Zugriff auf Verteilte und Heterogene Multimedial Daten Quellen

  • Making multimedia data available online becomes less expensive and more convenient on a daily basis. This development promotes web phenomenons such as Facebook, Twitter, and Flickr. These phenomena and their increased acceptance in society in turn leads to a multiplication of the amount of available images online. This vast amount of, frequently public and therefore searchable, images already exceeds the zettabyte bound. Executing a similarity search on the magnitude of images that are publicly available in the Internet, and receiving a top quality result is a challenge that the scientific community has recently attempted to rise to. One approach to cope with this problem assumes the use of distributed heterogeneous Content Based Image Retrieval system (CBIRs). Following from this anticipation, the problems that emerge from a distributed query scenario must be dealt with. For example the involved CBIRs’ usage of distinct metadata formats for describing their content, as well as their unequal technical and structural information. AnMaking multimedia data available online becomes less expensive and more convenient on a daily basis. This development promotes web phenomenons such as Facebook, Twitter, and Flickr. These phenomena and their increased acceptance in society in turn leads to a multiplication of the amount of available images online. This vast amount of, frequently public and therefore searchable, images already exceeds the zettabyte bound. Executing a similarity search on the magnitude of images that are publicly available in the Internet, and receiving a top quality result is a challenge that the scientific community has recently attempted to rise to. One approach to cope with this problem assumes the use of distributed heterogeneous Content Based Image Retrieval system (CBIRs). Following from this anticipation, the problems that emerge from a distributed query scenario must be dealt with. For example the involved CBIRs’ usage of distinct metadata formats for describing their content, as well as their unequal technical and structural information. An addition issue is the individual metrics that are used by the CBIRs to calculate the similarity between pictures, as well as their specific way of being combined. Overall, receiving good results in this environment is a very labor intensive task which has been scientifically but not yet comprehensively explored. The problem primarily addressed in this work is the collection of pictures from CBIRs, that are similar to a given picture, as a response to a distributed multimedia query. The main contribution of this thesis is the construction of a network of Content Based Image Retrieval systems that are able to extract and exploit the information about an input image’s semantic concept. This so called semantic CBIRn is mainly composed of CBIRs that are configured by the semantic CBIRn itself. Complementarily, there is a possibility that allows the integration of specialized external sources. The semantic CBIRn is able to collect and merge results of all of these attached CBIRs. In order to be able to integrate external sources that are willing to join the network, but are not willing to disclose their configuration, an algorithm was developed that approximates these configurations. By categorizing existing - as well as external - CBIRs and analyzing incoming queries, image queries are exclusively forwarded to the most suitable CBIRs. In this way, images that are not of any use for the user can be omitted beforehand. The hereafter returned images are rendered comparable in order to be able to merge them to one single result list of images, that are similar to the input image. The feasibility of the approach and the hereby obtained improvement of the search process is demonstrated by a prototypical implementation and its evaluation using classified images of ImageNet. Using this prototypical implementation an augmentation of the number of returned images that are of the same semantic concept as the input images is achieved by a factor of 4.75 with respect to a predefined non-semantic CBIRn.show moreshow less
  • Multimedia Daten im Internet bereitzustellen wird von Tag zu Tag kostengünstiger und bequemer. Diese Entwicklung fördert Netz-Phänomene wie Facebook, Twitter und Flickr. Dies wiederum führt zu einer Multiplikation der im Internet verfügbaren Bilder. Diese Menge von häufig öffentlichen und darum suchbaren Bildern übersteigt schon heute die Zettabyte-Grenze. Eine ähnlichkeits-Suche auf diese Masse von Bildern, die öffentlich im Internet verfügbar sind, auszuführenundeinhochwertigesResultatzuerzielenisteineHerausforderungdersichdie wissenschaftliche Gemeinschaft heutzutage stellt. Um beispielsweise dieses Problem mit Inhaltsbasierten Bilder Suchsystemen (CBIRs) zu lösen müssen Probleme, die durch ein verteiltes Anfrageszenario entstehen, behandelt werden. Damit sind u.a. die Verwendung von unter- schiedlichen Ausprägungen von Metadaten Formaten involvierter CBIRs um ihre Bilder zu beschreiben, so wie ihre ungleiche technischen und strukturellen Informationen gemeint. Oder die individuellen Metriken, die von den CBIRs verwendet werden umMultimedia Daten im Internet bereitzustellen wird von Tag zu Tag kostengünstiger und bequemer. Diese Entwicklung fördert Netz-Phänomene wie Facebook, Twitter und Flickr. Dies wiederum führt zu einer Multiplikation der im Internet verfügbaren Bilder. Diese Menge von häufig öffentlichen und darum suchbaren Bildern übersteigt schon heute die Zettabyte-Grenze. Eine ähnlichkeits-Suche auf diese Masse von Bildern, die öffentlich im Internet verfügbar sind, auszuführenundeinhochwertigesResultatzuerzielenisteineHerausforderungdersichdie wissenschaftliche Gemeinschaft heutzutage stellt. Um beispielsweise dieses Problem mit Inhaltsbasierten Bilder Suchsystemen (CBIRs) zu lösen müssen Probleme, die durch ein verteiltes Anfrageszenario entstehen, behandelt werden. Damit sind u.a. die Verwendung von unter- schiedlichen Ausprägungen von Metadaten Formaten involvierter CBIRs um ihre Bilder zu beschreiben, so wie ihre ungleiche technischen und strukturellen Informationen gemeint. Oder die individuellen Metriken, die von den CBIRs verwendet werden um die Ähnlichkeit der Bilder zu berechnen, wie auch ihre spezielle Art diese zu kombinieren. Im Großen und Ganzen besteht eine sehr arbeitsintensive Aufgabe darin, unter diesen Umständen gute Resultate zu erzielen. Diese Aufgabe wurde von wissenschaftlicher Seite noch nicht umfassend erforscht. Das Problem das hauptsächlich in dieser Arbeit thematisiert wird, ist das Sammeln von Bildern die einem vorgegebenen Bild ähnlich sind, als Antwort auf eine verteilte Multimedia Anfrage. Der Hauptbeitrag dieser Dissertation ist der Aufbau eines Netzwerks von CBIRs, das die semantischen Konzepte der Anfragebilder nutzen kann, genannt semantisches CBIRn. Das semantische CBIRn ist in der Lage, Ergebnisse von CBIRs zu sammeln und zusammenzufügen, die vom semantischen CBIRn selbst angelegt wurden, und CBIRs, die von spezialisierten externen Quellen integriert wurden. Um in der Lage zu sein, externe Quellen zu integrieren die dem Netzwerk beitreten möchten, jedoch nicht ihre Konfigurationen preis geben möchten, wurde ein Algorithmus entwickelt der diese Konfiguration berechnet. Durch die Kategorisierung der angelegten - wie auch der externen - CBIRs und durch die Analyse einkommender Anfragen, werden inhaltsbasierte Suchanfragen ausschließlich zu den geeignetsten CBIRs weitergeleitet. DieanschließendzurückgegebenenBilderwerdenvergleichbargemachtumimstandezusein, sie zu fusionieren und eine Ergebnisliste zurückzugeben, die dem Eingabebild ähnlich sind. Die Machbarkeit des Ansatzes und die gewonnenen Verbesserungen des Suchprozesses wird durch eine prototypische Umsetzung und einer Auswertung von Tests mit klassifizierten Bilder von ImageNet durchgeführt. Hierbei wurde im Vergleich mit einer vordefinierten nicht-semantischen CBIRn eine Steigerung der Anzahl der rückgegebenen Bilder die dem selben semantischen Konzepts wie das das Eingabebild entsprechen, um den Faktor 4.75, erreicht.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Christian Vilsmaier
URN:urn:nbn:de:bvb:739-opus-27374
Advisor:Harald Kosch
Document Type:Doctoral Thesis
Language:English
Year of Completion:2014
Date of Publication (online):2014/10/22
Publishing Institution:Universität Passau
Granting Institution:Universität Passau, Fakultät für Informatik und Mathematik
Date of final exam:2014/09/26
Release Date:2014/10/22
Tag:Bilder Suche; Daten Fusion; Daten Verschmelzung; Inhaltsbasierte Bilder Suche; Inhaltsbasierte Bilder Suchsysteme; Multimedia Datenbanken
CBIRs; ContentBasedImageRetrieval; Data Merging; DataFusion; Image Retrieval; MultimediaDatabases
GND Keyword:Multimedia; Inhalt; Verschmelzung; Bild; Suche; System
Institutes:Fakultät für Informatik und Mathematik / Sonstiger Autor der Fakultät für Informatik und Mathematik
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
open_access (DINI-Set):open_access
Licence (German):License LogoStandardbedingung laut Einverständniserklärung