Erweiterbare objekterkennungsbasierte automatische Annotation von Bildern

Language
de
Document Type
Doctoral Thesis
Issue Date
2012-09-07
Issue Year
2012
Authors
Nagy, Robert
Editor
Abstract

The sea of digital images is rising constantly from year to year. According to a recent estimate, about 50 billion digital photographs are taken per annum. Retrieving specific images even in a fraction of this massive amount of data is a tough challenge, which requires appropriate indexing of the photographs. Today, the most common method for image search is based on text queries. Graphical approaches could not prevail up to now. The foundations for successful text-based image search are either manually or automatically derived textual annotations. Manual annotation of such a huge number of images is hopeless. Current search engines obtain the annotations for their indexed images from the surrounding text in websites. Unfortunately, these annotations are error-prone and impossible to be derived without the existence of - manually created - context. Automatic annotation of images relies only on the image content itself and potentially available additional camera metadata such as location or time. Recently, considerable progress has been made in the research area of object recognition. The most successful methods for describing image content are all based on translating so called visual words into text. However, all these approaches can only detect objects, which are known by the recognition system. By and by, the recognition system needs to be extended and has to learn new object classes. Almost all current methods are severely limited regarding their extensibility. In some cases, adding a new object class can take up to 1 year. In this thesis first the requirements for textual annotations of images are analysed from the perspective of text-based image search and the assistance of visually impaired people. Subsequently, current object recognition methods are investigated regarding their extensibility capabilities and the main areas of limitations are identified. Based on these insights, a scalable extensible and preferably efficient solution is developed. This new method is tested and optimised using established datasets. The thesis includes a comparison with other extensible approaches as well. Additionally, current OCR tools are evaluated on their applicability for recognizing text in natural images and their suitability for improving image annotation and object recognition. Finally, the developed extensible object recognition method is embedded in a framework, which can be accessed by image management applications and by text-based search services to annotate images automatically based on the image content only.

Abstract

Die Flut an digitalen Bildern nimmt Jahr für Jahr stetig zu. Nach einer aktuellen Schätzung werden jährlich 50 Milliarden digitale Fotoaufnahmen erstellt. Um spezifische Bilder auch nur in einem Bruchteil dieser immensen Datenmenge wiederzufinden müssen die Aufnahmen entsprechend indiziert werden. Bei der Bildsuche ist heute die textbasierte Suche am weitesten verbreitet, grafische Verfahren konnten sich bislang nicht durchsetzen. Als Grundlage für die textbasierte Suche dienen manuell oder automatisch erstellte textuelle Annotationen. Die manuelle Indizierung ist bei der enormen Menge an Bildern aussichtslos. Auch die von aktuellen Suchmaschinen eingesetzte Ableitung der Bildbeschreibungen aus dem umliegenden Text von Bildern ist fehleranfällig und ohne entsprechenden - manuell aufwendig erzeugten - Kontext nicht möglich. Bei der automatischen Annotation von Bildern kann lediglich auf den Inhalt der Bilder sowie evtl. von der Kamera zusätzlich abgespeicherte Metadaten (z.B. Zeit und Ort) zugegriffen werden. In den letzten Jahren wurden wesentliche Fortschritte im Bereich der Objekterkennung gemacht. Diese neuen, auf sog. visuellen Wörtern aufbauenden Objekterkennungsverfahren schneiden zur Zeit am erfolgreichsten bei der inhaltbasierten Beschreibung von Bildern ab. Allerdings können diese Ansätze nur diejenigen Objekte in den Bildern erkennen, welche auch dem System selbst bekannt sind. Mit der Zeit muss somit das Objekterkennungssystem hinzulernen und um neue Objektklassen erweitert werden. Nahezu alle aktuellen Verfahren sind jedoch bzgl. der Erweiterbarkeit der Objektverzeichnisse stark eingeschränkt, z.T. kann das Hinzufügen einer neuen Objektklasse mehr als 1 Jahr in Anspruch nehmen. In dieser Arbeit werden die Anforderungen an die textuelle Annotation von Bildern aus Sicht der textbasierten Suche und der Unterstützung von sehbehinderten Personen ermittelt. Anschließend werden die Problemstellen aktueller Verfahren zur Objekterkennung bzgl. der Erweiterbarkeit identifiziert und analysiert. Ausgehend von diesen Erkenntnissen wird eine skalierbare, erweiterbare und möglichst effiziente Lösung ausgearbeitet. Das erstellte neue Verfahren wird unter Verwendung der gängigen Datensätze optimiert und mit erweiterbaren Methoden aus der Literatur verglichen. Zusätzlich werden aktuelle OCR-Werkzeuge daraufhin untersucht inwieweit die Texterkennung in natürlichen Fotoaufnahmen zur Verbesserung der Objekterkennung und der Annotation von Bildern eingesetzt werden kann. Zuletzt wird das erweiterbare Objekterkennungssystem in ein Framework eingebettet, welches als Annotationsdienst für Bildverwaltungsprogramme und textbasierte Suchdienste zur inhaltlichen Beschreibung von Bildern zur Verfügung steht.

DOI
Document's Licence
Faculties & Collections
Zugehörige ORCIDs