H.3.3 Information Search and Retrieval
Refine
Document Type
- ZIB-Report (9)
Has Fulltext
- yes (9)
Is part of the Bibliography
- no (9)
Keywords
- search engine (2)
- Classification (1)
- Context Fil (1)
- Data Mining (1)
- Dateisystem (1)
- Datenbank (1)
- Datenmanagementsystem (1)
- Dubletten (1)
- Fakten (1)
- Indexierung (1)
Time series classification mimics the human understanding of similarity. When it comes to larger datasets, state of the art classifiers reach their limits in terms of unreasonable training or testing times. One representative example is the 1-nearest-neighbor DTW classifier (1-NN DTW) that is commonly used as the benchmark to compare to and has several shortcomings: it has a quadratic time and it degenerates in the presence of noise. To reduce the computational complexity lower bounding techniques or recently a nearest centroid classifier have been introduced. Still, execution times to classify moderately sized datasets on a single core are in the order of hours. We present our Bag-Of-SFA-Symbols in Vector Space (BOSS VS) classifier that is robust and accurate due to invariance to noise, phase shifts, offsets, amplitudes and occlusions. We show that it is as accurate while being multiple orders of magnitude faster than state of the art classifiers. Using the BOSS VS allows for mining massive time series datasets and real-time analytics.
Im Mai 2009 wurde Wolfram|Alpha gestartet, ein Service, der seinen Namen von seinem Entwickler, dem britischen Mathematiker Stephen Wolfram, ableitet. Dem Benutzer soll nicht nur eine Liste von Webseiten als Ergebnis auf Anfragen geliefert werden, sondern Antworten auf konkrete Fragen geben. In diesem Report soll gezeigt werden, warum sichWolframjAlpha von Suchmaschinen abgrenzt und was die Berechnung von Antworten auf natürlichsprachliche Fragen möglich machen kann.
Vorbemerkung Beim Schreiben dieses Artikels, der auf Veränderungen der Kommunikations- und Publikationstechniken und ihre Bedeutung hinweist, ist uns mehr als je zuvor bewusst geworden, wie beschränkt das Medium Papier ist. Es gibt z. B. keine Hyperlinks, durch die man unmittelbar das Erwähnte erleben oder überprüfen kann. Ein schneller Wechsel vom Wort zum Bild, zum Ton oder Video ist nicht möglich. Wer will schon lange URLs abtippen und Medienbrüche erleiden? Wir haben uns daher entschlossen, eine textidentische Version dieses Artikels mit allen URLs – sie liegt Ihnen hier vor – elektronisch anzubieten und in der für die "Gegenworte" (BBAW) gekürzten Fassung nur durch [URL] anzudeuten, dass der Leser an dieser Stelle einfach in der elektronischen Version einen Klick ins Internet machen sollte. Und damit sind wir bereits mitten im Thema.
We present a middleware to store multidimensional data sets on Internet-scale distributed systems and to efficiently perform range queries on them. Our structured overlay network \emph{SONAR (Structured Overlay Network with Arbitrary Range queries)} puts keys which are adjacent in the key space on logically adjacent nodes in the overlay and is thereby able to process multidimensional range queries with a single logarithmic data lookup and local forwarding. The specified ranges may have arbitrary shapes like rectangles, circles, spheres or polygons. Empirical results demonstrate the routing performance of SONAR on several data sets, ranging from real-world data to artificially constructed worst case distributions. We study the quality of SONAR's routing information which is based on local knowledge only and measure the indegree of the overlay nodes to find potential hot spots in the routing process. We show that SONAR's routing table is self-adjusting, even under extreme situations, keeping always a maximum of $\lceil \log N \rceil$ routing entries.
Die hierarchische Organisation von Dateien beherrscht Computersysteme seit vielen Jahren und wird sich vermutlich auch in Zukunft weiterhin durchsetzen. Dennoch stößt diese Verwaltungsmethode in einem klassischen hierarchischen Dateisystem bei dem jährlichen rasanten Zuwachs an neuen Daten an ihre Grenzen, auch wenn Nutzer eine ausgefeilte Verzeichnisstruktur mit einer disziplinierten Namensgebung konsequent auf- und ausbauen. Um den Überblick über die Dateien zu behalten, werden in dieser Arbeit neue Verwaltungsmethoden vorgestellt und in die hierarchische Dateisystemsicht eingebettet. Auf der Basis des hierarchischen Dateisystems bietet ein metadatenbasiertes Dateisystem neben dem hierarchischen Zugriff noch einen flexiblen, assoziativen Zugriff auf Dateien über virtuelle Objekte, indem Suchmethoden in Form einer Anfrage auf in einer Datenbank gespeicherte Index- und Metadaten angewendet werden. Das Ergebnis dieser Abfrage wird mit Hilfe von virtuellen Verzeichnissen und virtuellen Dateien in einer übersichtlichen Form dargestellt, so dass eine Nutzung der hierarchischen Sicht weiterhin intuitiv fortgesetzt wird. Das Datenmanagementsystem ZIBDMS, welches einen verteilten Metadatenkatalog und einen Dateireplikationskatalog beinhaltet, ermöglicht es, die oben genannten Verwaltungsmethoden für die NFS-Schnittstelle, CORBA-Middleware und Web Services transparent zu implementieren. Zudem stellt ZIBDMS weitere neue Dateiverwaltungsmethoden zur Verfügung, die sich in die hierarchische Dateisystemsicht integrieren lassen. Metadaten in Form von Attribut-Wert-Paaren lassen sich als virtuelle Datei darstellen und editieren. Eine Collection bietet die Möglichkeit, Dateien in einem logischen virtuellen Ordner zu organisieren. Mit einem Dependency-Graph lassen sich Dateien zueinander in Relation stellen, so dass eine Linkstruktur zwischen Dateien ausgedrückt werden kann. Das Verweiskonzept eines klassischen hierarchischen Dateisystems wird im ZIBDMS um eine neue Verweisart Weak-Link erweitert, um einen aktualisierbaren, konsistenten und zyklenfreien symbolischen Link anzubieten. In einer hierarchischen Sicht lässt sich durch Verweise ein Baum bilden, in dem eine Navigation und Verweisauflistung möglich sind, was außer ZIBDMS noch kein anderes System bietet.
Der Kooperative Bibliotheksverbund Berlin-Brandenburg (KOBV) verzichtet auf eine einheitliche zentrale Verbunddatenbank zugunsten einer dezentralen, verteilten Struktur. In dieser Architektur erhält die Art der Indexierung der angesprochenen Online-Kataloge eine besondere Bedeutung. So werden sowohl Bibliotheksmitarbeiter als auch Bibliotheksbenutzer immer wieder mit der Recherche in fremden Katalogen konfrontiert, in denen unterschiedliche Indexierungsverfahren realisiert sein können. Ein abgestimmtes Indexierungskonzept verfolgt zwei grundsätzliche Ziele. Einerseits soll durch eine vereinheitlichte Indexierung die Qualität und Zuverlässigkeit der Rechercheergebnisse in der parallelen Suche in mehreren Katalogen über die KOBV-Suchmaschine erhöht werden. Gleichzeitig soll durch eine vereinheitlichte Indexierung die Akzeptanz von Suchen in entfernten Katalogen prinzipiell gesteigert und damit die Bedingungen für die gegenseitige Übernahme von Titeldaten erleichtert werden. Für die Indexierung muss zunächst die Art und der Umfang der im OPAC aufzubauenden Indices festgelegt werden. Aus Sicht des Nutzers entspricht diese Definition den möglichen Sucheinstiegen. Hat man dann entschieden, welche Indexterme aus welchen Feldern in die jeweiligen Indices einfließen sollen, muss bestimmt werden, nach welchen Regeln die Terme behandelt werden. Hier stellt sich insbesondere das Problem der Sonderzeichen wie Bindestriche, Apostrophe und Punkte oder Ziffern in Zeichenketten. Das vorliegende Konzept entstand in Zusammenarbeit der großen Universitätsbibliotheken in Berlin (der Freien Universität, der Humboldt-Universität, der Technischen Universität, der Universität der Künste) mit der KOBV-Verbundzentrale am ZIB.
\\{\bf Zusammenfassung: }Diese Diplomarbeit beschreibt ein verteiltes Bibliotheks-Informationssystem für bibliographische Datenbanken im Internet. Der Name des Systems ist ZACK. Der Benutzer kann mit ZACK in einer oder mehreren bibliographischen Datenbanken nach einem Dokument suchen und die Treffer in die eigene lokale Datenbank übernehmen. Mit der Übernahme der Datensätze aus einer fremden Datenbank wird die Erfassung neuer Dokumente wesentlich erleichtert, da die Eigenkatalogisierung auf ein Minimum beschränkt werden kann. Es wird doppelte Arbeit vermieden, und die Datensätze haben eine gleichbleibend hohe Qualität. Bei der verteilten Suche mit ZACK wird parallel in mehreren Datenbanken gesucht. Dubletten werden als solche erkannt. Dem Benutzer wird eine übersichtliche Kurztrefferliste ohne doppelte Einträge angeboten. Er kann dann selbst entscheiden, aus welcher Datenbank er die Datensätze übernimmt. Die verteilte Suche hat in der Praxis eine deutlich bessere Trefferquote gebracht als die Suche in nur einer Datenbank. Dabei bleibt die Antwortzeit in einem für den Benutzer akzeptablen Rahmen. Die Kurztrefferliste wird durch die Dublettenkontrolle kürzer und übersichtlicher. English Title: A Distributed Library Information System on the Basis of the Z39.50 Protocol This diploma thesis desribes a distributed library information system for bibliographic databases in the Internet. The name of the system is ZACK. With ZACK the user is able to search for a particular document in several databases and to include the matches in his/her own local database. The inclusion of data records from an external database makes the capture of new documents much easier, as internal cataloging is reduced to a minimum. Double work is eliminated and a continuously high quality of data record is ensured. The distributed search by means of ZACK is carried out in several databases in parallel. Duplicates are recognized; and a short list of matches without double entries is offered. The user can then decide for himself from which database to include data records. In practice, a distributed search has produced far better results than the search in one particular database. Response times are within an acceptable limit for the user. The short list of hits is made clearer and more concise by the duplicate check. The diploma thesis is also available in PDF, HTML, and ASCII format: http://wolfram.schneider.org/lv/diplom/ .
De-duplication in KOBV
(1999)
In KOBV we offer the user an efficient tool for searching regional and worldwide accessible library catalogues (KOBV search engine). Search is performed by a distributed Z39.50 retrieval and an index based quicksearch. Due to the number of catalogues, result sets may contain a significant amount of duplicate records. Therefore we integrate a de-duplication procedure into KOBV search engine. It is part of the distributed search and the KOBV quicksearch as well. Main goals are the presentation of uniform retrieval results, the preservation of retrieval quality and cutting off redundant information. At least we keep an eye on efficiency. De-duplication is fully parametrizable, so that settings can be changed easily on line.
This report describes the development of an experimental service for picture-based document retrieval for the Electronic Visualization Library (EVlib). The EVlib is a digital library for scientific visualization, established at the Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB). The picture-based retrieval service allows users to look for documents by describing the pictures they contain. This query method was developed based on the assumption that (1) pictures often represent relevant parts of the contents of a document, and (2) pictures are often remembered well. A picture-based approach provides a new quality of accessing and exploring scientific literature. Motivation, concepts and realization of our service are outlined. Results of a user test are presented, too. The results indicate that this service can be used for searching and browsing the document collection in principle. On the other hand, problems were detected which can give fruitful hints for future work concerning document and image retrieval.