Zusammenfassung
In dieser Arbeit wird eine effiziente Methode zur Schätzung der Ego-Fahrstreifen vorgestellt. Das System ist ausgelegt auf die Anwendung für Mikromobilitätssysteme wie E-Fahrräder, E-Scooter oder E-Dreiräder und basiert auf Sequenzen von RGB-Bildern, die aus der Fahrerperspektive aufgenommen werden. Um die Grenzen verschiedener Fahrbahntypen, insbesondere Fußwegen, Radwegen und Straßen, robust zu detektieren, wird ein gradientenbasierter Kantendetektor mit einem Farbsegmentierungansatz kombiniert. Sowohl geometrische Gegebenheiten als auch zeitliche Inferenz werden genutzt, um die Schätzung zu optimieren, insbesondere in schwierigen Fällen wie Kurven. Dabei ist insbesondere die dynamische Schätzung des Fluchtpunkts mithilfe des Optischen Flusses zwischen zwei aufeinanderfolgenden Bildern von Bedeutung. Tests mit zwei Aufnahmesetups und drei verschiedenen Aufrahmeraten zeigen, dass der Ego-Fahrstreifen in den meisten Fällen mit hoher Genauigkeit detektiert und in Kurven passend approximiert wird. Dies wird von der quantitative Evaluation anhand von über 2000 Testbildern bestätigt, die eine IoU von 75,28 % ergibt. Eine Performanz von 12 fps auf einem Raspberry Pi 3 zeigt zudem, dass die Methode wenig rechenintensiv ist, was als Vorraussetzung für die Anwendung in der Mikromobilität gilt.
Abstract
In this work, we present an efficient method for ego lane detection for micro-mobility systems as electric bicycles, scooters, or tricycles using RGB sequences from a driver’s perspective. We combine a gradient-based line detector with color-based segmentation to robustly find an approximation for the ego lane borders in various traffic environments. With given geometrical conditions of the scene and temporal inference, the approximation is improved, especially in difficult cases as when driving a curve. A key task thereby is the dynamic estimation of the vanishing point using optical flow vectors between two consecutive frames. Tests on over 2000 images taken with two different recording setups and different sampling rates show that the method reliably finds the borders of the ego lane in most of the samples and approximates the ego lane in a suitable way in curves. This is confirmed with a quantitative evaluation, determining an IoU of 75.28 %. A performance of 12 fps on a Raspberry Pi 3 furthermore shows the suitability of our method for micromobility systems with low-cost and low-power hardware.
Funding source: Bundesministerium für Bildung und Forschung
Award Identifier / Grant number: 16SV8209
Funding statement: Diese Arbeit wurde vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Projekts Kamäleon unter dem Kennzeichen 16SV8209 gefördert.
Über die Autoren
Rebekka Peter hat Elektrotechnik und Informationstechnik am Karlsruher Institut für Technologie (KIT) studiert und ist zur Zeit wissenschaftliche Mitarbeiterin am Institut für Mess- und Regelungstechnik des KITs im Bereich der kamerabasierten Umgebungswahrnehmung.
Yuduo Song ist Absolvent des Karlsruher Institut für Technologie des Studiengangs Maschinenbau (M. Sc.). Das Bachelorstudium hat er 2016 an der Beihang Universität, China, abgeschlossen. Seine Interessen liegen im Bereich des Maschinellen Sehens und der Umgebungswahrnehmung für Autonomes Fahren.
Yew Hon Ng hat Elektrotechnik an der Fachhochschule Aachen studiert. Er arbeitet als wissenschaftlicher Mitarbeiter an der Fachhochschule Aachen im Bereich Sensorik.
Martin Lauer hat Informatik an der Universität Karlsruhe studiert und einen Doktortitel an der Universität Osnabrück erhalten. Er arbeitet als Gruppenleiter am Karlsruher Institut für Technologie in den Bereichen Computer Vision, maschinelles Lernen und autonomes Fahren.
Literatur
1. S. V. Chougule, A. Ismail, G. Adam, V. Narayan and M. Schulze, Forum Bildverarbeitung (2018), 291–301.Search in Google Scholar
2. A. Meyer, N. O. Salscheider, P. F. Orzechowski and C. Stiller, Deep semantic lane segmentation for mapless driving, In IEEE/RSJ IROS, DOI: 10.1109/IROS.2018.8594450.Search in Google Scholar
3. S. Graovac and A. Goma, Detection of road image borders based on texture classification, Int. J. Adv. Robotic Sy., 9 (2012), 242–254.10.5772/54359Search in Google Scholar
4. H. Kong, J. Audibert and J. Ponce, General road detection from a single image, IEEE Trans. Image Processing, 19 (2010), 2211–2220.10.1109/TIP.2010.2045715Search in Google Scholar PubMed
5. U. Ozgunalp and S. Kaymak, Lane detection by estimating and using restricted search space in Hough domain, Procedia Computer Science, DOI: 10.1016/j.procs.2017.11.222.Search in Google Scholar
6. B. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, IJCAI, 7 (1981), 121–130.Search in Google Scholar
7. A. Ram, J. Sunita, A. Jalal and K. Manoj, A density based algorithm for discovering density varied clusters in large spatial databases, IJCA, 3 (2010), 739–1038.10.5120/739-1038Search in Google Scholar
8. J. Canny, A computational approach to edge detection, IEEE PAMI, 8 (1986), 679–698.10.1016/B978-0-08-051581-6.50024-6Search in Google Scholar
9. J. Jähne, In Digitale Bildverarbeitung (2002), DOI: 10.1007/978-3-662-06731-4.Search in Google Scholar
10. R. McDonald and K. J. Smith, CIE94 – a new colour-difference formula, Journal of The Society of Dyers and Colourists, 111 (2008), 376–379.10.1111/j.1478-4408.1995.tb01688.xSearch in Google Scholar
© 2021 Walter de Gruyter GmbH, Berlin/Boston
