A preference-based relevance feedback approach for polyrepresentative multimedia retrieval

Ein Präferenz-basierter Relevance-Feedback-Ansatz für Polyrepräsentatives Multimedia Retrieval

  • The search for textual information, e.g., in the form of webpages, is a typical task in modern business and private life. From a user's point of view, the commonly used systems have matured and established common interaction design patterns such as the textual input box that starts virtually every directed search process. In comparison, the search for multimedia documents (e.g., images or videos) is still in its early years. In other words, a pre-dominant search strategy has not yet evolved. That is, directed and exploratory search approaches fight for user acceptance. One further discriminative factor of multimedia information retrieval (MMIR) from traditional text-based information retrieval (IR) is that multimedia documents are not necessarily stored with the help of the same data access paradigm. From a technical point of view, the use of different data access paradigms complicates the retrieval from such collections because the utilized retrieval model has to support these paradigms. As a consequence, the main challenges inThe search for textual information, e.g., in the form of webpages, is a typical task in modern business and private life. From a user's point of view, the commonly used systems have matured and established common interaction design patterns such as the textual input box that starts virtually every directed search process. In comparison, the search for multimedia documents (e.g., images or videos) is still in its early years. In other words, a pre-dominant search strategy has not yet evolved. That is, directed and exploratory search approaches fight for user acceptance. One further discriminative factor of multimedia information retrieval (MMIR) from traditional text-based information retrieval (IR) is that multimedia documents are not necessarily stored with the help of the same data access paradigm. From a technical point of view, the use of different data access paradigms complicates the retrieval from such collections because the utilized retrieval model has to support these paradigms. As a consequence, the main challenges in MMIR - the retrieval engine and the user interaction -- have to be addressed in a holistic way. A holistic theoretic perspective on MMIR/IR research is taken by principle of polyrepresentation (PoP), which forms one half of the theoretic background of this dissertation aiming at the development of a preference-based approach to interactive MMIR. Roughly speaking, the PoP theorizes that representations describing a document are based on various cognitive processes dealing with it, e.g., a title, its color or shape features, its creator, or its date of creation. This multitude of representations can be fused to form a conjunctive cognitive overlap (CO) in which highly relevant documents are likely to be contained. This explicit recommendation discriminates the PoP from typical feature fusion approaches often used in MMIR. However, the PoP does not answer how a retrieval model has to be implemented in a technical sense which is of interest in the field of computer science. One possibility to implement the PoP are quantum mechanics-inspired IR models such as the commuting quantum query language (CQQL) which is used in this thesis. CQQL is particularly interesting because it integrates data access paradigms used in the fields of DB and IR. In order to respect the dynamic nature of the search process and information need (IN), CQQL allows the personalization of retrieval results using a preference-based relevance feedback (RF) approach called PrefCQQL, which relies on machine-based learning. Unique features of the PrefCQQL approach range from the support of negative query-by-example (QBE) documents at query formulation time as well as during the interactive retrieval process to the formulation of weak preferences between result documents to express gradual levels of relevance. In addition, inductive preferences can be used from query formulation time onward to learn new CQQL queries. In order to evaluate the presented polyrepresentative PrefCQQL approach, two kinds of experiments are conducted: a Cranfield-inspired evaluation of CQQL/PrefCQQL's retrieval effectiveness, which is extended by the utilization of user simulations to better fit the requirements of the evaluation of an adaptive IR system, and a usability study that examines three alternative MMIR system UI prototypes. In order to increase the reproducibility and confirmability of the experiments, the source code to all used programs is made available as a supplement to this dissertation. The mentioned experiments aim at answering two central questions: first, whether the hypotheses of the PoP can be verified in MMIR, and second, whether a usable interactive MMIR system can be built on the basis of the PoP and PrefCQQL? To answer the first question, different matching functions that partly follow the recommendations of the PoP are evaluated with six different test collections in both an non-interactive and interactive QBE scenario. The results of this experiment are ambivalent. In non-interactive MMIR, the experimental data does not provide sufficient justification for the statement that PoP-based matching functions will always surpass single features or other matching functions. For instance, the arithmetic mean, which calculates the average similarity between a query's representations and the documents' representations in the collection, surpasses the conjunction and hence the CO of multiple representations in terms of retrieval effectiveness. Nevertheless, the matching function following the PoP is effectiveness stabler than the best performing single representations per collection. Hence, the CO's retrieval performance is more reliable than the usage of single representations. In contrast, the predictions of the PoP can be verified in the investigated PrefCQQL-based interactive MMIR scenario. However, it is important to note that also the number of available representations has an impact on the retrieval outcome. That is, if too few representations are present in a matching function, the corresponding IN model in PrefCQQL obviously becomes subject to underfitting eventually lowering its retrieval effectiveness. Unfortunately, when the point of sufficient representations to support PrefCQQL is reached could not be revealed in this dissertation. The second question is answered with the help of a prototypical MMIR system: the Pythia system, which serves both as proof of concept of the CQQL and the PrefCQQL approach. Furthermore, the system supports different information seeking strategies and a seamless transition between them in order to support users with different kinds of IN.show moreshow less
  • Die Suche nach textueller Information stellt eine typische Aufgabe im modernen Geschäfts- und Privatleben dar. Aus Nutzersicht sind die hierfür verwendeten Systeme gereift und es haben sich typische Interaktionsmechanismen, wie die Texteingabeaufforderung, welche beinahe jede gerichtete Suche startet, herausgebildet. Im Vergleich dazu befindet sich die Suche nach multimedialen Dokumenten aus Nutzersicht noch in den sogenannten Kinderschuhen. Hier kämpfen gerichtete und explorative Suchansätze nach wie vor um Nutzerakzeptanz. Ein weiterer Punkt, der Multimedia Information Retrieval (MMIR) vom traditionellen, Text-basierten Information Retrieval (IR) unterscheidet, ist der Umstand, dass Multimediadokumente nicht notwendigerweise mittels des gleichen Datenzugriffsparadigmas gespeichert sind. Dieser Zustand verkompliziert die Suche in solchen Datenbeständen, da das zu verwendende Retrieval-Modell die jeweiligen Datenzugriffsparadigmen unterstützen muss. Konsequenterweise müssen die Hauptherausforderungen des MMIR, dasDie Suche nach textueller Information stellt eine typische Aufgabe im modernen Geschäfts- und Privatleben dar. Aus Nutzersicht sind die hierfür verwendeten Systeme gereift und es haben sich typische Interaktionsmechanismen, wie die Texteingabeaufforderung, welche beinahe jede gerichtete Suche startet, herausgebildet. Im Vergleich dazu befindet sich die Suche nach multimedialen Dokumenten aus Nutzersicht noch in den sogenannten Kinderschuhen. Hier kämpfen gerichtete und explorative Suchansätze nach wie vor um Nutzerakzeptanz. Ein weiterer Punkt, der Multimedia Information Retrieval (MMIR) vom traditionellen, Text-basierten Information Retrieval (IR) unterscheidet, ist der Umstand, dass Multimediadokumente nicht notwendigerweise mittels des gleichen Datenzugriffsparadigmas gespeichert sind. Dieser Zustand verkompliziert die Suche in solchen Datenbeständen, da das zu verwendende Retrieval-Modell die jeweiligen Datenzugriffsparadigmen unterstützen muss. Konsequenterweise müssen die Hauptherausforderungen des MMIR, das Retrieval-Subsystem und die Nutzerinteraktion, ganzheitlich angegangen werden. Solch einen ganzheitlichen, theoretischen Blick auf die MMIR/IR-Forschung wirft das Prinzip der Polyrepräsentation (PdP), das eine Hälfte des theoretischen Hintergrunds dieser Dissertation darstellt. Das PdP geht davon aus, dass verschiedene Repräsentationen, die ein Dokument beschreiben, auf unterschiedlichen, kognitiven Prozessen basieren. Diese Vielzahl an Repräsentationen kann in einer konjunktiven, kognitiven Überlappung (KÜ) zusammengeführt werden. Hierbei wird angenommen, dass relevante Dokumente in diesem Bereich liegen. Diese explizite Annahme unterscheidet das PdP von anderen Feature-Fusionsansätzen, die sonst häufig beim MMIR Verwendung finden. Das PdP als kognitives Modell trifft jedoch keine Aussagen darüber, wie ein entsprechendes Retrieval-Subsystem implementiert werden kann - eine wesentliche Fragestellung der angewandten Informatik. Eine Möglichkeit der Implementierung des PdP stellen Quantenmechanik-basierte IR-Modelle, wie die Commuting Quantum Query Language (CQQL), dar, welche auch im Rahmen dieser Dissertation verwendet wird. Die Wahl fällt hierbei auf CQQL, da sie typische Datenzugriffsparadigmen aus den Gebieten DB und IR unterstützt. Außerdem erlaubt CQQL die Personalisierung von Suchergebnissen mittels des Präferenz-basierten Relevance-Feedback-Ansatzes (RF) PrefCQQL, welcher auf maschinellen Lernverfahren basiert. Alleinstellungsmerkmale von PrefCQQL stellen dabei die Unterstützung von negativen Query-by-Example-Dokumenten (QBE) sowohl zu Beginn als auch während der Suche dar. Außerdem können induktive, schwache Präferenzen genutzt werden, um die Relevanz von Ergebnisdokumenten feingranular zu bewerten. Ferner können induktive Präferenzen bereits zur Anfrageerstellung genutzt werden, so dass sich im Prinzip sämtliche Nutzerinteraktion während der Suche mit PrefCQQL umsetzen lässt. Zur Evaluierung des vorgestellten, polyrepräsentativen PrefCQQL-Ansatzes werden zwei Arten von Experimenten durchgeführt: eine Evaluierung der Retrieval-Effektivität von CQQL/PrefCQQL auf Grundlage des Cranfield-Paradigmas, welches um Nutzersimulationen erweitert wurde, um den Anforderungen an die Bewertung von interaktiven MMIR-Systemen gerecht zu werden; und eine Usability-Studie, welche drei funktional unterschiedliche Benutzerschnittstellen eines MMIR-Systems vergleicht. Um die Reproduzierbarkeit und Nachvollziehbarkeit der Experimente sicherzustellen, ist der Quellcode sämtlicher Anwendungen im Anhang zu dieser Dissertation zu finden. Die beschriebenen Experimente beantworten zwei zentrale Fragen: 1), ob die Hypothesen des PdP im Anwendungsgebiet des MMIR verifizierbar sind und 2), ob ein nutzbares, interaktives MMIR-System auf Grundlagen des PdP und von PrefCQQL implementiert werden kann? Um die erste Frage beantworten zu können, werden verschiedene Matching-Funktionen, die teilweise dem PdP folgen, mit sechs unterschiedlichen Testdatensätzen, sowohl in einem nicht interaktiven, als auch interaktiven QBE-Szenario gegenübergestellt. Die Ergebnisse dieses Experiments sind uneindeutig.Im nicht interaktiven Fall zeigt sich keine Überlegenheit der Matching-Funktionen, welche auf dem PdP basieren, gegenüber der Nutzung einzelner Features oder anderen Matching-Funktionen. So übertrifft die Retrieval-Effektivität des arithmetischen Mittels aller Repräsentationen, die der Konjunktion der vorhandenen Repräsentationen, welche der KÜ entspricht. Nichtsdestotrotz zeigt sich, dass Matching-Funktionen, welche dem PdP folgen, stabiler bezüglich ihrer Effektivität sind als Einzelfeatures. Folglich ist die Leistung der PdP-basierten Funktionen verlässlicher. Im interaktiven Szenario, also während der Verwendung von PrefCQQL, können die Voraussagen des PdP verifiziert werden. Die zweite Frage wird mithilfe eines prototypischen MMIR-Systems beantwortet, dem Pythia-System, welches als Machbarkeitsstudie eines interaktiven Retrieval-Systems auf Basis von CQQL und PrefCQQL dient. Des weiteren unterstützt das System unterschiedliche Suchstrategien sowie einen nahtlosen Wechsel zwischen diesen, um Nutzer mit verschiedenen IB bestmöglich zu unterstützen.show moreshow less

Download full text files

Export metadata

Metadaten
Author: Zellhöfer, David
URN:urn:nbn:de:kobv:co1-opus4-35218
Referee / Advisor:Prof. Dr.-Ing. habil. Schmitt, Ingo
Document Type:Doctoral Thesis
Language:English
Year of Completion:2015
Date of final exam:2015/06/02
Release Date:2015/07/16
Tag:Content-based Image Retrieval; Feature Fusion; Interaktives Multimedia Retrieval; Prinzip der Polyrepräsentation; Quantenlogik-basiertes Information Retrieval
Content-based image retrieval; Feature fusion; Interactive multimedia retrieval; Principle of polyrepresentation; Quantum logic-based information retrieval
GND Keyword:Information Retrieval; Multimedia
Institutes:Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Datenbanken und Informationssysteme
Institution name at the time of publication:Fakultät für Mathematik, Naturwissenschaften und Informatik (eBTU) / LS Datenbank- und Informationssysteme
Other Notes:Auf Seite 459 wird auf eine DVD mit ergänzenden Informationen (Dateien und Videos) hingewiesen. Die genaue Beschreibung zum Inhalt dieser DVD findet man auf Seite 460. Dieses Material konnte nicht online veröffentlicht werden. Die DVD ist in den gebundenen Exemplaren im Bibliotheksbestand der UB Cottbus enthalten.
There is a hint on page 459 regarding a DVD. Figure E.1 on page 460 illustrates the file hierarchy of the enclosed DVD. This DVD is available with the printed volumes within the stock of University Library Cottbus.
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.