Loading…
Advanced Methods for Image Information Mining System: Evaluation and Enhancement of User Relevance
Daschiel, Herbert Andreas
Die Notwendigkeit eines effizienten Zugriffs auf grosse Bildbestaende in Datenbanken fuehrte zur Entwicklung von Verfahren der inhaltsbasierten Bildsuche (Image Data Mining). Die Weiterentwicklung dieser Verfahren haengt - so wie in anderen Forschungsgebieten auch - davon ab, ob sich die Methoden der Bildabfrage als auch des Bildverstehens quantitativ bewerten lassen. Bislang wurde der Thematik der Evaluierung von Systemen zur inhaltsorientierten Bildsuche nur sehr wenig Aufmerksamkeit geschenkt. Die Schwierigkeit dieser Systemevaluierung liegt am Mangel standardisierter Kriterien und willkuerlicher Bildauswahl. In dieser Dissertation wird ein Konzept zur Weiterentwicklung und Evaluierung eines wissens- und inhaltsbasierten Bildarchivierungssystems vorgestellt. Die Hauptanwendung des Systems liegt darin, Nutzern ohne die Visualisierung alle Bilder den Zugriff auf den Bildinhalt in Fernerkundungsdatenbanken zu ermoeglichen. Um diesen Zugriff effektiv zu gestalten, werden die Bilddaten in einer sog. Bayes'schen Hierarchie modelliert. Der Informationsinhalt wird dann auf mehreren Ebenen mit verschiedener semantischer Abstraktion angeordnet. Die Hierarchie gliedert sich in zwei Hauptteile. Der erste Teil besteht aus einer rechenintensiven off-line Verarbeitung der Bilddaten mit dem Ziel, Bildmerkmale zu extrahieren und den Bildinhalt in einer vollstaendig unueberwachten (unsupervised) und anwendungsfreien Art abstrakt auf Signalebene zu beschreiben. Der zweite Teil besteht aus der Definition von Bodenbedeckungstypen und der semantischen Namenszuweisung. Da jede Bodenbedeckungsart ueber stochastische Signalmodelle dem Bildinhalt zugeordnet ist, kann das Bildarchiv "stochastisch" abgefragt werden. Obwohl das Konzept der anwendungsfreien Modellierung und der anwendungsspezifischen semantischen Beschreibung in vielen praktischen Beispielen zum Erfolg fuehrte, war es nur von begrenztem Nutzen fuer die Definition von komplexen Bildinhalten. Deshalb wurde eine neue Abstraktionsebene eingefuehrt: die semantische Gruppierung. Diese Methode basiert auf der Zusammenfassung von vorhandenen Bodenbedeckungstypen in hoeherrangige semantische Konzepte unter Einbeziehung der Nutzer. Darueberhinaus kann diese Methode, unabhaengig von Aufnahmesensor und Datensaetzen, fuer die Beschreibung von Bildinhalten auf semantischem Niveau fuer die Abfrage von Fernerkundungsdatenbanken verwendet werden. Der Hauptteil dieser Arbeit beschaeftigt sich mit der Evaluierung eines Systems zur inhaltsbasierten Bildsuche. Im Gegensatz zu anderen Verfahren, welche die Gesamtleistung eines Systems hinsichtlich relevanter und irrelevanter Bilder in den Abfrageergebnissen beschreiben, zerlegt der vorgestellte Ansatz zuerst das Gesamtsystem in seine Einzelkomponenten. Bevor die einzelnen Messwerte zusammengefasst werden, um die Gesamtleistung des Systems zu ermitteln, wird jedes Modul basierend auf informationstheoretischen Messgroessen evaluiert. Der Vorteil dieses Ansatzes liegt darin, dass er vollstaendig in das hierarchische Konzept des Bildarchivierungssystems implementiert werden kann. Hinzu kommt, dass die stochastische Natur des Systems vollstaendig in die Informationstheorie eingebunden wird. Denn es ist einfacher, einzelne Systemmodule zu analysieren und die Messgroessen zu kombinieren als die Gesamtkomplexitaet des Systems in einem Schritt zu beschreiben. Die Informationstheorie stellt eine Reihe leistungsstarker Messgroessen zur Verfuegung, um die technische Qualitaet von Komponenten des Systems zu ueberpruefen, nutzerrelevante Aspekte zu verifizieren und den Informationsfluss waehrend des Systembetriebs zu untersuchen. Es werden Verfahren zur Evaluierung von primitiven Bildmerkmalen, unueberwachten Clustern und ueberwachten Bodenbedeckungstypen mit semantischer Bedeutung vorgestellt. Desweiteren wird die Leistungsfaehigkeit der Systemmodule "Interactive Learning" und "Probabilistic Search" beschrieben und gezeigt, inwieweit Bodenbedeckungstypen fuer zunehmende Datenmengen und Cluster von Unterraeumen beibehalten werden. Die subjektive Evaluierung beinhaltet hauptsaechlich die Mensch-Maschine Kommunikation, das heisst die ausgefuehrten Aktionen von Nutzern, den Zeitaufwand fuer Aktionen, die Aspekte der Kommunikation und Informationsdarstellung und die Vorhersage von Nutzerinteressen. Um die Informationsuebertragung zwischen verschiedenen Systemniveaus zu evaluieren, wird das Bildarchivierungssystem aus Sicht eines unvollkommenen Nachrichtenuebertragungskanals untersucht. Die Ueberpruefung des verwendeten Mining Systems erfordert eine besondere Architektur und die Entwicklung von geeigneten Verfahren. Um dies zu bewerkstelligen, werden alle getaetigten Aktionen zwischen Nutzer und System festgehalten und statistische Verfahren zur Untersuchung dieser Parameter entwickelt. Diese Methoden liefern eine Reihe von Messwerten, welche die objektive Qualitaet des Systems wiederspiegeln. Im Anschluss daran werden sie mit der subjektiven Bewertung der Nutzer verglichen. Zur Ueberpruefung der Signifikanz der erhaltenen Messwerte wurde ein grossangelegter Systemtest mit Teilnehmern aus verschiedenen Arbeitsgebieten durchgefuehrt. Die Ergebnisse geben Auskunft ueber die Leistung des Systems und die Bedeutung der implementierten Module fuer die Systemevaluierung. Um die Gesamtleistung des Mining Systems zu evaluieren, wurden, je nach Anwendung, mehrere Datensaetze mit verschiedenen Eigenschaften ausgewaehlt. Folgende Systemanforderungen wurden untersucht: die Extraktion und Kompression von Bildmerkmalen, die Erzeugung der Daten, welche in das System integriert werden, die Qualitaet des Systems zur Verwaltung grosser Datenmengen, die Komplexitaet der verwendeten Daten, die Merkmale der graphischen Benutzerschnittstelle und die Qualitaet von definierten Bodenbedeckungstypen.
Spurred by the needs to provide innovative tools for the management and query of large image databases, techniques for content-based image retrieval have been developed within the last years. As in other research fields, further progress depends on the ability to carefully evaluate both image retrieval and image understanding functions - a field that has not been given much attention yet. The difficulty in validating an image retrieval system is due to the lack of standardized evaluation criteria and the arbitrary selection of datasets. In this dissertation, we present a concept for the enhancement and evaluation of a knowledge-driven content-based image information mining system. The main application of the system is to provide users with a tool by which the content of remote sensing image archives can be explored without actually browsing them. Therefore, the system models the image data in a hierarchical Bayesian way, where the content information is arranged at multiple levels of different semantic abstraction. The hierarchy consists of two major parts: a computational-intensive off-line data processing, which aims at the extraction and description of the image content in a completely unsupervised and application-free way (level 0 to 3) and a fast, user-specific semantic labeling of cover-types (level 4). Since each semantic label is linked to the image content by using stochastic parametric signal models, the archive can be queried in a probabilistic way. Although the concept of application-free image content modeling and application-specific labeling has shown its usefulness in various practical applications, it is, however, of limited use for the definition of complex cover-types. Hence, a new level of image content abstraction is introduced: semantic grouping. This method is based on the aggregation of existing labels to high-level semantic concepts (level 5) according to the user's feedback samples. Additionally, this method of image content definition at semantic level can be extended to query remote sensing image archives across sensors and data collections. This thesis mainly contributes to content-based image retrieval system evaluation and verification. Unlike other methods that express the overall performance of a retrieval system in terms of relevant and irrelevant images in the query results, our approach first decomposes the overall system into its basic components, then evaluates each one using information-theoretic quantities and finally combines the individual measurements to indicate the overall system performance. The advantage of this strategy is its full adaptability to the hierarchical scheme underlying the mining system. Moreover, the stochastic nature of the system is fully incorporated in information theory. Additionally, analyzing individual system modules and fusing the measurements is easier than analyzing the overall system complexity in one step. Information theory provides a number of powerful measurements to analyze the technical objective quality of system components, to identify user-related subjective concepts and to verify the information flow during system operation. We outline methods to validate the information content of primitive image features, unsupervised clusters and semantic labels, to analyze the effectiveness of the interactive learning and probabilistic search system modules and to demonstrate how semantic cover-types are preserved for increasing volumes of data and subspace clusters. Subjective evaluation mainly involves the analysis of human-machine interactions, that is, performed actions, timing of actions, communication and information representation aspects and the prediction of the users' interests. In order to verify the information transmission between different levels in the hierarchical scheme, we analyze the mining system from an imperfect communication channel point of view. Validating the image information mining system requires a particular organization and the development of appropriate tools. Therefore, we trace all performed actions between the users and the system and implemented functions for the statistical analysis of user-tracing parameters. With these tools we get a set of evaluation measurements that reflect the objective quality of the system and compare them with subjective user satisfaction. In order to verify the performance of the obtained measurements, we organized a large-scale system evaluation test with participants from different working fields. The results obtained show both the performance of the system and the relevance of implemented functions for system validation. In order to verify the overall performance of the system, we selected various datasets with different properties according to certain application scenarios. We analyzed the computational requirements for off-line feature extraction, clustering and catalogue entry generation, the quality of the system to manage large volumes of data, the complexity of the applied datasets, the performance of the graphical man-machine interface and the quality of the defined semantic image content.
