TY - CHAP A1 - Köhler, Sebastian A1 - Doll, Konrad A1 - Kebinger, Sophie A1 - Schmitt, Daniel A1 - Kröhn, Michael A1 - Fried, Maik A1 - Börsig, Rainer T1 - Prozessinnovation: Hochautomatisiert lernendes Assistenzsystem für die manuelle Montage N2 - Trotz hoher Automatisierungsgrade in der produzierenden Industrie, sind manuelle Montageprozesse durch den Menschen, sei es aufgrund der geforderten Flexibilität, insbesondere bei kleinen Losgrößen oder der erforderlichen Präzision, unverzichtbar. Um eine hohe Produktivität und niedrige Ausschussraten zu gewährleisten, ist es sinnvoll, den Menschen in seiner Montagetätigkeit zu unterstützen oder zu entlasten. Intelligente Assistenzsysteme können den Menschen dahingehend unterstützen, dass sie bspw. schwere Tätigkeiten kollaborativ übernehmen, Prozesse gezielt steuern oder Informationen bei Bedarf kontextsensitiv bereitstellen. In diesem Beitrag wird das Konzept eines intelligent hochautomatisiert lernenden Assistenzsystems vorgestellt, dessen Ziel es ist, anhand von bereits gelernten Abläufen an einem manuellen Montagearbeitsplatz fehlerhafte Abläufe zu erkennen oder neue valide Abläufe hochautomatisiert und unüberwacht zu lernen. Manuelle Montageprozesse bestehen aus Abfolgen von Handgriffen. Diese Handgriffe werden vom Assistenzsystem als Gesten erkannt und verarbeitet, sodass der Gesamtablauf in Teilschritte zerlegt werden kann. Weiterhin soll dieses Assistenzsystem Informationen zur Behebung des Fehlers direkt am Arbeitsplatz verfügbar machen. Das Assistenzsystem, dessen Architektur in Abb. 1 dargestellt ist, besteht aus einem zustandsgesteuerten, lernenden Steuersystem mit einem Microsoft Kinect-v2-Sensor, der den Arbeitsplatz aus der Überkopfperspektive erfasst und die Montageschritte erkennt. Da das Grundprinzip des Assistenzsystems in der Langzeitbeobachtung und –unterstützung der Montagetätigkeit liegt, werden die kontinuierlich aggregierten Daten zur Erweiterung und Verbesserung des Assistenzsystems genutzt. Es lernt somit hochautomatisiert neue oder abgewandelte Montageabläufe. Hieraus ergibt sich eine Herausforderung an die Bewertung der Güte eines solchen Systems. Während eine hohe Erkennungsrate der einzelnen Aktivitäten innerhalb eines Montageablaufs unabdingbar ist, wird für das vorgeschlagene System darüber hinaus gefordert, dass komplette Abläufe korrekt, d.h. in der richtigen Reihenfolge ohne einzelne Falschklassifikationen, erkannt werden. Nur hierdurch lassen sich real geänderte Abläufe hochautomatisiert und unüberwacht im Zustandsautomat des Steuersystems online einlernen. T2 - Konferenz für Angewandte Automatisierungstechnik in Lehre und Entwicklung (AALE), 2018 KW - Automatisierungstechnik KW - Montage Y1 - 2018 SN - 978-3-8007-4522-7 SP - 153 EP - 164 CY - Köln ER - TY - CHAP A1 - Köhler, Sebastian A1 - Doll, Konrad A1 - Kebinger, Sophie A1 - Schmitt, Daniel A1 - Kröhn, Michael A1 - Fried, Maik A1 - Börsig, Rainer T1 - Gestenerkennung in einem hochautomatisiert lernenden Assistenzsystem für manuelle Montageprozesse T2 - AUTOMATION 2018, VDI-Berichte 2330 KW - Assistenzsystem KW - Montage Y1 - 2018 SN - 978-3-18-092330-7 SP - 145 EP - 156 CY - Baden-Baden ER - TY - CHAP A1 - Reitberger, Günther A1 - Bieshaar, Maarten A1 - Zernetsch, Stefan A1 - Doll, Konrad A1 - Sick, Bernhard A1 - Fuchs, Erich T1 - Cooperative Tracking of Cyclists Based on Smart Devices and Infrastructure T2 - 21st International Conference on Intelligent Transportation Systems (ITSC) 2018 N2 - In future traffic scenarios, vehicles and other traffic participants will be interconnected and equipped with various types of sensors, allowing for cooperation based on data or information exchange. This article presents an approach to cooperative tracking of cyclists using smart devices and infrastructure-based sensors. A smart device is carried by the cyclists and an intersection is equipped with a wide angle stereo camera system. Two tracking models are presented and compared. The first model is based on the stereo camera system detections only, whereas the second model cooperatively combines the camera based detections with velocity and yaw rate data provided by the smart device. Our aim is to overcome limitations of tracking approaches based on single data sources. We show in numerical evaluations on scenes where cyclists are starting or turning right that the cooperation leads to an improvement in both the ability to keep track of a cyclist and the accuracy of the track particularly when it comes to occlusions in the visual system. We, therefore, contribute to the safety of vulnerable road users in future traffic. KW - Fahrerassistenzsystem KW - Fahrrad KW - Sensortechnik Y1 - 2018 U6 - https://doi.org/10.1109/ITSC.2018.8569267 PB - IEEE CY - Maui, HI, USA ER - TY - CHAP A1 - Kreß, Viktor A1 - Jung, Janis A1 - Zernetsch, Stefan A1 - Doll, Konrad A1 - Sick, Bernhard T1 - Human Pose Estimation in Real Traffic Scenes T2 - 2018 IEEE Symposium Series on Computational Intelligence (SSCI) KW - Autonomes Fahrzeug KW - Fahrerassistenzsystem KW - Fußgänger KW - Radfahrer Y1 - 2018 U6 - https://doi.org/10.1109/SSCI.2018.8628660 SP - 518 EP - 523 PB - IEEE CY - Bangalore, India ER - TY - CHAP A1 - Zernetsch, Stefan A1 - Kreß, Viktor A1 - Sick, Bernhard A1 - Doll, Konrad T1 - Early Start Intention Detection of Cyclists Using Motion History Images and a Deep Residual Network T2 - 2018 IEEE Intelligent Vehicles Symposium (IV) N2 - In this article, we present a novel approach to detect starting motions of cyclists in real world traffic scenarios based on Motion History Images (MHIs). The method uses a deep Convolutional Neural Network (CNN) with a residual network architecture (ResNet), which is commonly used in image classification and detection tasks. By combining MHIs with a ResNet classifier and performing a frame by frame classification of the MHIs, we are able to detect starting motions in image sequences. The detection is performed using a wide angle stereo camera system at an urban intersection. We compare our algorithm to an existing method to detect movement transitions of pedestrians that uses MHIs in combination with a Histograms of Oriented Gradients (HOG) like descriptor and a Support Vector Machine (SVM), which we adapted to cyclists. To train and evaluate the methods a dataset containing MHIs of 394 cyclist starting motions was created. The results show that both methods can be used to detect starting motions of cyclists. Using the SVM approach, we were able to safely detect starting motions 0.506 s on average after the bicycle starts moving with an F 1 -score of 97.7%. The ResNet approach achieved an F 1- score of 100% at an average detection time of 0.144 s. The ResNet approach outperformed the SVM approach in both robustness against false positive detections and detection time. KW - Fahrerassistenzsystem KW - Radfahrer KW - Fußgänger Y1 - 2018 U6 - https://doi.org/10.1109/IVS.2018.8500428 PB - IEEE CY - Changshu, China ER - TY - JOUR A1 - Bieshaar, Maarten A1 - Zernetsch, Stefan A1 - Hubert, Andreas A1 - Sick, Bernhard A1 - Doll, Konrad T1 - Cooperative Starting Movement Detection of Cyclists Using Convolutional Neural Networks and a Boosted Stacking Ensemble JF - IEEE Transactions on Intelligent Vehicles N2 - In the future, vehicles and other traffic participants will be interconnected and equipped with various types of sensors, allowing for cooperation on different levels, such as situation prediction or intention detection. In this paper, we present a cooperative approach for starting movement detection of cyclists using a boosted stacking ensemble approach realizing feature- and decision-level cooperation. We introduce a novel method based on a three-dimensional convolutional neural network (CNN) to detect starting motions on image sequences by learning spatio-temporal features. The CNN is complemented by a smart device based starting movement detection originating from smart devices carried by the cyclist. Both model outputs are combined in a stacking ensemble approach using an extreme gradient boosting classifier resulting in a fast and yet robust cooperative starting movement detector. We evaluate our cooperative approach on real-world data originating from experiments with 49 test subjects consisting of 84 starting motions. KW - Fahrerassistenzsystem KW - Fahrrad KW - Sensortechnik Y1 - 2018 VL - 3 IS - 4 SP - 534 EP - 544 ER -