Obstacle Fusion and Scene Interpretation for Autonomous Driving with Occupancy Grids
Hindernisfusion und Szeneninterpretation für das autonome Fahren mit Belegungskarten
Please always quote using this URN: urn:nbn:de:bvb:29-opus4-213510
- Autonomous driving is, besides electrification, currently one of the most competitive areas in the automotive industry. A substantially challenging part of autonomous vehicles is the reliable perception of the driving environment. This dissertation is concerned with improving the sensor-based perception and classification of the static driving environment. In particular, it focuses on recognizing road boundaries and obstacles on the road, which is indispensable for collision-free automated driving. Moreover, an exact perception of static road infrastructure is essential for accurate localization in a priorly built highly precise navigation map, which is currently commonly used to extend theAutonomous driving is, besides electrification, currently one of the most competitive areas in the automotive industry. A substantially challenging part of autonomous vehicles is the reliable perception of the driving environment. This dissertation is concerned with improving the sensor-based perception and classification of the static driving environment. In particular, it focuses on recognizing road boundaries and obstacles on the road, which is indispensable for collision-free automated driving. Moreover, an exact perception of static road infrastructure is essential for accurate localization in a priorly built highly precise navigation map, which is currently commonly used to extend the environment model beyond the limited range of sensors. The first contribution is concerned with environment sensors with a narrow vertical field of view, which frequently fail to detect obstacles with a small vertical extent from close range. As an inverse beam sensor model infers free space if there is no measurement, those obstacles are deleted from an occupancy grid even though they have been observed in past measurements. The approach presented here explicitly models those errors using multiple hypotheses in an evidential grid mapping framework that neither requires a classification nor a height of obstacles. Furthermore, the grid mapping framework, which usually assumes mutually independent cells, is extended to information from neighboring cells. The evaluation in several freeway scenarios and a challenging scene with a boom barrier shows that the proposed method is superior to evidential grid mapping with an inverse beam sensor model. In the second contribution, a common shortcoming of occupancy grid mapping is approached. Multi-sensor fusion algorithms, such as a Kalman filter, usually perform obstacle association and gating to improve the obstacle position if multiple sensors detected it. However, this strategy is not common in occupancy grid fusion. In this dissertation, an efficient method to associate obstacles across sensor grids is proposed. Imprecise sensors are discounted locally in cells where a more accurate sensor detected the same obstacle and derived free space. The quantitative evaluation with an exact navigation map shows an increased obstacle position accuracy compared to standard evidential occupancy grid mapping. Whereas the first two contributions were concerned with multi-sensor fusion approaches for collision avoidance, the third uses occupancy grids for situation interpretation. In particular, this work proposes to use occupancy maps to classify the driving environment into the categories freeway, country or rural road, parking area, and city street. Identifying the current road type is essential for autonomous driving systems designed for limited environment types. Inspired by the success of deep learning approaches in image classification, end-to-end Convolutional Neural Networks are compared to Support Vector Machines trained on hand-crafted features. Two novel CNN architectures for occupancy-grid-based situation classification, designed for embedded applications with limited computing power are proposed. Furthermore, the occupancy-grid-based classification is fused with camera-image-based classification, and the road type probabilities are recursively estimated over time with a Bayes filter. The evaluation of the approaches on an extensive data set yielded accuracies of up to 99 %.…
- Neben der Elektrifizierung ist automatisiertes Fahren derzeit eines der Entwicklungsfelder in der Automobilindustrie, in dem ein hoher Wettbewerbsdruck herrscht. Hierbei stellt die zuverlässige Erkennung der Umgebung eines der anspruchsvollsten Forschungsgebiete autonomer Fahrzeuge dar. Diese Dissertation beschäftigt sich mit der Verbesserung der sensor-basierten Wahrnehmung statischer Elemente in der Umgebung. Der Fokus dieser Arbeit liegt auf der Erkennung von Straßenbegrenzungen und Hindernissen, welche für kollisionsfreies automatisiertes Fahren essenziell sind. Darüber hinaus ist eine genaue Erkennung der Straßeninfrastruktur unabdinglich, um eine präzise Lokalisierung in einerNeben der Elektrifizierung ist automatisiertes Fahren derzeit eines der Entwicklungsfelder in der Automobilindustrie, in dem ein hoher Wettbewerbsdruck herrscht. Hierbei stellt die zuverlässige Erkennung der Umgebung eines der anspruchsvollsten Forschungsgebiete autonomer Fahrzeuge dar. Diese Dissertation beschäftigt sich mit der Verbesserung der sensor-basierten Wahrnehmung statischer Elemente in der Umgebung. Der Fokus dieser Arbeit liegt auf der Erkennung von Straßenbegrenzungen und Hindernissen, welche für kollisionsfreies automatisiertes Fahren essenziell sind. Darüber hinaus ist eine genaue Erkennung der Straßeninfrastruktur unabdinglich, um eine präzise Lokalisierung in einer hochgenauen digitalen Navigationskarte zu ermöglichen. Diese wird aktuell verwendet, um die Reichweite des Umfeldmodells jenseits der Sensorreichweite zu erweitern. In dieser Arbeit wird eine Fusionsmethode für Sensoren vorgeschlagen, die einen kleinen vertikalen Öffnungswinkel aufweisen, durch welchen sie häufig Hindernisse mit geringem vertikalen Ausmaß aus nächster Nähe nicht detektieren. Da ein inverses Strahlensensormodell Freiraum entlang des Strahls bis zur ersten Messung ableitet, werden bereits erkannte Hindernisse wieder aus der Karte gelöscht. Der in dieser Dissertation vorgestellte Ansatz modelliert diese Fehler anhand mehrerer Hypothesen. Eine Auswertung mit mehreren Autobahnszenarien sowie einer Szene mit einer Schranke zeigt, dass die vorgeschlagene Methode bessere Ergebnisse als normale evidenzbasierte Belegungskarten erzielt. Des Weiteren wird mit dieser Arbeit ein bisher unzureichend erforschtes Themenfeld im Zusammenhang mit Belegungskarten untersucht. In der Regel führen Fusionsalgorithmen, wie z.B. ein Kalman-Filter, eine Zuordnung verschiedener Messungen durch, um die Positionsschätzung eines Hindernisses zu verbessern. Diese Strategie wird bei der Fusion in Belegungskarten jedoch bisher kaum angewendet. In dieser Dissertation wird eine Methode vorgeschlagen, um die erkannten Hindernisse von mehreren Sensoren abzugleichen und dadurch die Messgenauigkeit zu erhöhen. Belegungswahrscheinlichkeiten in Zellen von ungenauen Sensoren werden nach erfolgreicher Zuordung zu präziseren Sensoren lokal herabgesetzt, wenn der genauere Sensor in dieser Zelle Freiraum erkannt hat. Die quantitative Auswertung mit einer hochgenauen digitalen Navigationskarte als Referenz zeigt eine erhöhte Hindernispositionsgenauigkeit im Vergleich zu üblichen Belegungskarten, welche diese Methodik nicht anwenden. Die im Verlauf der Arbeit entstandenen Belegungskarten werden schließlich für die Situationserkennung herangezogen. Diese Arbeit schlägt vor, Belegungskarten für die Klassifikation der Straßentypen ‘Autobahn’, ‘Landstraße’, ‘Parkplatz’, und ‘Stadtstraße’ zu verwenden. Gerade für autonome Fahrfunktionen, deren Nutzbarkeit auf bestimmte Umgebungstypen begrenzt ist, ist die korrekte Umfeldzuordnung von signifikanter Bedeutung. Hierzu werden zwei neuartige tiefe neuronale Netze vorgeschlagen, welche speziell für die begrenzte Rechenleistung von eingebetteten Systemen ausgelegt sind. Darüber hinaus wird die belegungskartenbasierte Klassifikation mit einer bildbasierten Klassifikation fusioniert und zusätzlich die Straßentypwahrscheinlichkeiten rekursiv über die Zeit geschätzt. Die Auswertung der Ansätze auf einem umfangreichen Datensatz ergab Genauigkeiten von bis zu 99 %.…
Author: | Christoph Seeger |
---|---|
Persistent identifiers - URN: | urn:nbn:de:bvb:29-opus4-213510 |
Referee: | Joachim Hornegger, André Kaup |
Advisor: | Joachim Hornegger |
Document Type: | Doctoral Thesis |
Language: | English |
Year of publication: | 2023 |
Date of online publication (Embargo Date): | 2023/01/20 |
Publishing Institution: | Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) |
Granting institution: | Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät |
Acceptance date of the thesis: | 2022/12/22 |
Release Date: | 2023/01/23 |
Tag: | CNN; DNN; autonomous driving; bayes; car; classification; convolutional; deep; deep network; dempster-shafer; evidential; fusion; grid; learning; mapping; neural network; occupancy; road classification; road type; robotics; scene interpretation; situation classification; situation interpretation |
Institutes: | Technische Fakultät / Department Informatik |
Dewey Decimal Classification: | 0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 006 Spezielle Computerverfahren |
open_access (DINI-Set): | open_access |
Licence (German): | ![]() |