Εικονική ανακατασκευή και ταυτοποίηση αντικειμένων στο χώρο με τεχνικές υπολογιστικής όρασης και τριδιάστατα γραφικά

Abstract

The present dissertation was funded and supported by the research program PENED concerning the development of innovative digital signal processing and image analysis methods, utilizing basic principles from the fields of computer vision and virtual reality. The main focus of this work is the digital reconstruction and restoration of ancient buildings discovered by archaeological excavations in the prehistoric settlement of Akrotiri on the island of Thira. This dissertation resulted from the co-operation with the parallel efforts of the archaeological and architectural scientific community, in order to develop analog reconstruction, utilizing design and manually metering methods. The main orientation of the present dissertation is the research and analysis of the stereo matching problem in images under arbitrary lighting or shading conditions . The reliable matching of characteristics of consecutive stereo images, the precise modeling, the calculation of picture‘s optical characteristics and the 3D reconstruction of the scene, using the recovered camera model information, are the main scientific directions of this dissertation. Classical stereo matching methods are used based on the correlation of pixel intensity. A new correlation measure is suggested, based on the local representation of the images information and utilizing the monogenic signal. The monogenic signal demodulates the local energetic, structural and geometric information of an image patch. Natural images photographed under arbitrary lighting conditions, with complex structures of archaeological interest, were used for the comparative experimental study of 3D digital reconstruction. Comparative results have been addressed between the resulted 3D reconstruction, utilizing the proposed correlation measure and the classical methods of intensity correlation. The experimental set used was a series of stereo images from Erecheio and Erodion. The proposed method of 3D registration and reconstruction leads to more reliable results concerning both the computation of the camera optic model and the depth representation of the 3D graphical model. It is also utilized a Bayesian based energy model of the stereo matching problem. Towards the depth recovery information from the experimental stereo set of images, It is suggested a new similarity function. This proposed similarity function constitutes the data energy function of the energy model and represent the requirement of stereoscopic consistency in the context of a stereo matching problem. The minimization of this energy function corresponds to a successful matching pair of pixels. This similarity function is based on the monogenic demodulation the local geometrical, structural and energetic information of an image. The comparative evaluation of the results, confirms the improvement of RMS error deviation between the computed disparity maps and the corresponding ideal (ground truth) in the case of using the proposed data energy function. In order to assess more reliable evaluation measures we utilized he Structural Similarity Index (Structural SIMilarity index, SSIM index) based on the human perception ability for structural quality of images. Finally we examine the problem multiview stereo matching problem using also the proposed data energy function to satisfy the constraint of stereoscopic consistency in the context of an energy minimization problem.

Η παρούσα διατριβή εκπονήθηκε στο πλαίσιο ενός ερευνητικού έργου ΠΕΝΕΔ, και αφορά στην ανάπτυξη καινοτόμων μεθόδων πληροφορικής από τα πεδία της ψηφιακής επεξεργασίας σήματος, ανάλυσης εικόνας, τεχνητής νοημοσύνης με όραση υπολογιστών και εικονικής πραγματικότητας, για ψηφιακή αποκατάσταση και ανακατασκευή κτιριακών αρχαιολογικών ευρημάτων από τον προϊστορικό οικισμό της Θήρας. Η διατριβή πραγματοποιήθηκε σε συνεργασία με παράλληλες προσπάθειες από τα πεδία αρχαιολογίας και αρχιτεκτονικής για αναλογική ανακατασκευή με σχεδιαστικές μεθόδους. Η έρευνα προβλημάτων της υπολογιστικής όρασης αποτελεί βασικό προσανατολισμό της παρούσας διατριβής. Tο αξιόπιστο ταίριασμα χαρακτηριστικών από διαδοχικές εικόνες, η ακριβής μοντελοποίηση και ο υπολογισμός των οπτικών χαρακτηριστικών της εικόνας, καθώς και η τρισδιάστατη ψηφιακή αποτύπωση της σκηνής, αξιοποιώντας την ανακτώμενη μετρική πληροφορία, αποτελούν τομείς μελέτης και έρευνας της εν λόγω διατριβής. Μία σημαντική κατηγορία μεθόδων στερεοσκοπικής αντιστοίχισης αποτελούν οι μέθοδοι συσχέτισης φωτεινότητας εικονοστοιχείων. Στην παρούσα διατριβή προτείνεται ένα νέο μέτρο συσχέτισης χαρακτηριστικών που βασίζεται στην τοπική αναπαράσταση της πληροφορίας της εικόνας μέσω του μονογενούς σήματος. Αξιοποιήθηκαν η ενεργειακή, η δομική και η γεωμετρική πληροφορία του μονογενούς σήματος στην κατασκευή του μέτρου συσχέτισης από εικόνα σε εικόνα καθώς επίσης και φίλτρα ομοιότητας φάσης στον εντοπισμό χαρακτηριστικών γεωμετρικών δομών στις εικόνες. Η συγκριτική πειραματική μελέτη της τριδιάστατης αποτύπωσης που προκύπτει από τη χρήση του προτεινόμενου μέτρου σε σχέση τόσο με κλασικές μεθόδους συσχέτισης φωτεινότητας, όσο και με πιο σύγχρονες μεθόδους αντιστοίχισης αναλλοίωτων χαρακτηριστικών σε κλίμακα και περιστροφή της εικόνας, διενεργήθηκε σε φυσικές εικόνες κάτω από τυχαίες συνθήκες φωτισμού με πολύπλοκη εικονιζόμενη δομή αρχαιολογικού ενδιαφέροντος. Χρησιμοποιήθηκαν στέρεο εικόνες από το Ερεχθείο στην Ακρόπολη και από το Ηρώδειο. Η εφαρμογή του προτεινόμενου μέτρου στερεοσκοπικής συσχέτισης οδήγησε σε περισσότερο αξιόπιστα αποτελέσματα τριδιάστατης ψηφιακής αποτύπωσης και υπολογισμού των οπτικών παραμέτρων της εικόνας. Τέλος, στην προσπάθεια ανάκτησης πληροφορίας βάθους από όλο το επίπεδο της εικόνας, αξιοποιήθηκαν Μπεϋζιανά μοντέλα βέλτιστης απόφασης. Σε αυτό το πλαίσιο, το πρόβλημα στερεοσκοπικής αντιστοίχισης εκφράζεται ως ένα πρόβλημα ελαχιστοποίησης συναρτήσεων κόστους. Στην παρούσα διατριβή προτείνεται μία τροποποιημένη μορφή συνάρτησης ενέργειας στερεοσκοπικής συνέπειας ή κόστους αντιστοίχισης που συνδυάζει σε ένα ενιαίο μέτρο ομοιότητας την τοπική γεωμετρική, δομική και ενεργειακή πληροφορία της εικόνας, όπως προκύπτουν από την αναπαράσταση του μονογενούς σήματος. Η συγκριτική αξιολόγηση των αποτελεσμάτων επιβεβαιώνει το γεγονός ότι η χρήση της προτεινόμενης συνάρτησης ενέργειας κόστους οδηγεί στον υπολογισμό τιμών βάθους με μικρότερα επίπεδα σφάλματος. Παράλληλα, στη διαδικασία αξιολόγησης της επίδοσης της προτεινόμενης συνάρτησης κόστους, προτείνεται η χρήση του δείκτη δομικής ομοιότητας (Structural SIMilarity index, SSIM index) που βασίζεται στην ανθρώπινη αντιληπτική ικανότητα. Στην παρούσα διατριβή προτείνεται η χρήση του δείκτη αυτού ως μέτρου ομοιότητας των υπολογιζόμενων τιμών βάθους με τις αντίστοιχες ιδανικές, γεγονός που παρέχει ουσιαστικά ένα μέτρο εκτίμησης της ποιότητας στερεοσκοπικής αποτύπωσης