English Title: 6 DoF Appearance-Based Object Detection With Local Covariant Features

Preview

PDF, German Download (5MB) | Terms of use

Abstract

Diese Arbeit präsentiert einen neuen Ansatz zur Detektion und Lokalisation von Objekten, welcher die lokale Deformation korrespondierender, kovarianter Regionen nutzt, um die 6 Freiheitsgrade (DoF) einer Starrkörpertransformation zwischen einer Menge registrierter Modell- und Kameraansichten zu schätzen. Dazu werden Algorithmen entworfen, die es erlauben, aus jeder einzelnen Regionenkorrespondenz eine unabhängige 6 DoF Lagehypothese abzuleiten, falls die Oberflächennormale und Tiefe eines Regionenzentrums bekannt ist. Cluster dieser lokalen Hypothesen werden als grobe Lokalisierung und robuste Segmentierung bzw. Ausreißereliminierung für eine nachfolgende globale Lageerkennung genutzt. Dieses Vorgehen erlaubt eine integrierte Verarbeitung aller vorhandener Modell- und Kameraansichten und erlaubt die Fusion unterschiedlicher kovarianter Regionentypen, inkl. Regionen auf Basis von Tiefenbildern. Die nachfolgende Auswertung ermittelt die 6 DoF Objektlage, welche am besten den 2D-3D oder 3D-3D Korrespondenzen der Regionenzentren innerhalb eines Clusters entspricht. Die Kombination von lokaler und globaler Auswertung erlaubt selbst bei starken Beleuchtungsstörungen, großen Blickwinkeländerungen, Verdeckungen, Mehrdeutigkeiten und komplexen Szenen eine akkurate und robuste Lokalisation. Dies wurde anhand 6 Bauteilen und ausführlichen Experimenten verifiziert, wobei Genauigkeiten der Lage unter 1mm und 1° erreicht werden konnten. Nahezu alle Algorithmen sind fein granular parallelisierbar und ermöglichen daher eine Auswertezeit auf moderner Hardware unter 0.4s. Das Einlernen eines Objektmodells erfolgt mit Hilfe eines Industrieroboters und einer darauf montierten Stereokamera vollständig autonom.

Translation of abstract (English)

This thesis presents a new approach to object detection and pose estimation, that uses the local deformations of corresponding covariant regions to predict the 6 degrees of freedom (DoF) rigid transformation between a set of aligned model and camera views. Thereto algorithms are developed, which allows the prediction of an independent 6 DoF pose hypothesis from a single feature correspondence, given the depth and plane normal at one region center. Clusters of these local hypotheses are used as a coarse object localization and as a segmentation respectively outlier removal for a global pose refinement step. The approach allows an integrated handling of multiple camera and model images and different local covariant feature types, including features on depth images. The subsequent step determines globally the 6 DoF object pose which fits best to the local 2D-3D or 3D-3D correspondences of the region centers within a cluster. The combination of local and global analysis allows an accurate localization even with illumination distortions, large view point changes, occlusion, ambiguities and cluttered scenes. This was evaluated by means of 6 objects and numerous experiments, in which a pose accuracy of under 1mm and 1° could be achieved. Almost all steps are fine granular parallelizable and therefore enable a runtime on modern hardware below 0.4s. The training of new object models can be done autonomously with the aid of an industrial robot and a mounted stereo-camera.