Abstract

Multimodality is a key word in order to increase the efficiency and the robustness of person authentication algorithms. Most of the multimodal authentication schemes currently developed, tend to combine speech and image-based features together and benefit from the high performance offered by the speech modality. Depending on the application, speech data is not always available or cannot be used. This paper takes these cases into account and investigates the best performance achievable through a system based on facial images only, using information extracted from both profile and frontal views. Starting from two different profile-related modalities, one based on the profile shape, the other on the grey level distribution along this shape, we will see how to issue a profile-based expert whose performance is improved compared to each profile modality taken separately. A second expert will use invariant parts of the frontal view in order to issue a frontal-based authentication. Different fusion schemes will be studied and the best approach will be applied in order to efficiently combine our two experts. This will result in a robust image-based person authentication scheme that offers a success rate of 96.5% on the M2VTS database.

Zusammenfassung

Multimodalität ist ein Schlüsselwort bei der Steigerung von Effizienz und Robustheit von Personen–Authentifizierungs Algorithmen. Die meisten Programme zur multimodalen Authentifizierung, die zur Zeit entwickelt werden, kombinieren Sprachsowie Bild-basierte Eigenschaften und profitieren von der hohen Qualität der Sprachmodalität. In Abhängigkeit von der jeweiligen Anwendung sind Sprachdaten nicht zugänglich oder können nicht genutzt werden. In dieser Arbeit werden derartige Fälle betrachtet. Untersucht wird die best mögliche Güte, die mit einem System erzielt werden kann, daß nur auf Gesichtsbildern basiert, wobei Informationen aus der Profil- und Seitenansicht benutzt werden. Beginnt man von zwei unterschiedlichen Profil-abhängigen Modalitäten, bei denen die eine auf den Profilkonturen, und die andere auf der Graustufenskalierung entlang der Kontur basiert, läßt sich zeigen, wie eine Profil-basierter Experteneinheit mit höherer Güte im Vergleich zu jeder separat betrachteten Profilmodalität gewonnen wird. Eine zweite Experteneinheit benutzt invariante Anteile der Profilansicht, um eine Profil-basierte Authentifizierung zu erreichen. Unterschiedliche Verknüpfungen der Programme werden in dieser Arbeit untersucht und die Beste angewendet, um die beiden Expertensysteme effizient zu kombinieren. Als Resultat erhält man ein robustes auf Bildern basierendes Authentifizierungsprogramm für Personen, welches eine Erfolgsquote von 96.5% erzielt.

Résumé

La multi-modalité est un mot-clef si l’on veut accroître l’efficacité et la robustesse des algorithmes d’authentification d’identité. La majorité des techniques d’authentification multi-modales tendent à combiner des attributs basés sur la parole et l’image et bénéficient des bonnes performances assurées par la modalité de parole. Selon l’application, les données de parole ne sont pas toujours disponibles ou ne peuvent être utilisées. Le présent article prend ces cas en considération et analyse les meilleures performances obtensibles par un système basé sur les images faciales seules, à l’aide de l’information extraite des vues de profil et frontale. A partir de deux modalités différentes sur le profil, l’une basée sur la forme du profil et l’autre sur la distribution des niveaux de gris le long de cette forme, nous verrons comment construire un expert basé sur le profil dont les performances sont améliorées vis-à-vis d’une approche prenant en compte les deux modalités séparément. Un deuxième expert utilisera les parties invariantes de la vue frontale pour construire un identificateur basé sur la vue frontale. Différentes techniques de fusion seront étudiées et la meilleure approche sera appliquée de façon à combiner efficacement nos deux experts. Ceci a pour résultat une méthode d’authentification d’identité basée sur l’image robuste qui assure un taux de succès de 96.5% sur la base de données M2VTS.

Author Keywords: Multimodal person authentication; Profile view; Fusion

Article Outline

1. Introduction

2. Profile shape matching

2.1. Profile segmentation

2.2. Chamfer profile shape matching

3. Grey level profile matching

4. Grey level frontal face matching

5. Test setup

6. Performance of the single modalities

7. Fusion of independent experts

7.1. Hard fusion: AND and OR operators

7.2. Soft fusion: linear combination of individual scores

8. Experimental results

9. Conclusion

Acknowledgements

References