Reinforcement Learning im Transportwesen

Titel: Reinforcement Learning in Transportation

Projektdauer: 2022–2025

Forschungsbereich: Ingenieurwesen und Betriebswirtschaft

Unser Projekt zielt darauf ab, das autonome Fahren durch Deep Reinforcement Learning zu verbessern, indem kritische Herausforderungen beim Folgen von Fahrzeugen, der Hindernisvermeidung und der Übertragung von der Simulation auf die reale Welt adressiert werden. Wir gehen das Problem des Umgangs mit seltenen Ereignissen in Deep-Reinforcement-Learning-Modellen an, indem wir neuartige Trainingsumgebungen vorschlagen, die vielfältige und anspruchsvolle Szenarien generieren. Zusätzlich führen wir eine zweistufige Architektur zur dynamischen Hindernisvermeidung ein, die supervised Learning zur Kollisionsrisikoschätzung und Reinforcement Learning zur verbesserten Situationswahrnehmung kombiniert.

Unter Nutzung von vision-basiertem Deep Reinforcement Learning entwickeln wir einen Agenten, der gleichzeitiges Spurhalten und Folgen von Fahrzeugen ermöglicht und dabei eine robuste Leistung in Simulations- und realen Umgebungen demonstriert. Darüber hinaus präsentieren wir ein plattformunabhängiges Framework für eine effektive Sim2Real-Übertragung bei Aufgaben des autonomen Fahrens, das die Lücken zwischen verschiedenen Plattformen verringert und eine nahtlose Bereitstellung trainierter Agenten ermöglicht. Schließlich schlagen wir modifizierte Deep-Reinforcement-Learning-Methoden vor, die reale menschliche Fahrerfahrungen integrieren, um die Leistung und Anwendbarkeit der Agenten in realen Verkehrsszenarien zu verbessern. Durch rigorose Tests und Validierung trägt unser Projekt zur Weiterentwicklung der Fähigkeiten und Zuverlässigkeit autonomer Fahrsysteme bei.

Ziele

Unser Projekt zielt darauf ab, das autonome Fahren mithilfe von Deep Reinforcement Learning zu verbessern. Wir konzentrieren uns auf die Verbesserung des Folgen von Fahrzeugen, der Hindernisvermeidung und der Sim2Real-Übertragung. Wir wollen die Zuverlässigkeit und Effektivität autonomer Fahrsysteme voranbringen durch:

• die Bewältigung des Umgangs mit seltenen Ereignissen,
• die Integration menschlicher Fahrerfahrungen und
• die Entwicklung robuster Trainings-Frameworks.

Problemstellung

Die zentrale Frage unseres Projekts lautet: Wie kann Deep Reinforcement Learning genutzt werden, um das autonome Fahren zu verbessern, indem Herausforderungen beim Folgen von Fahrzeugen, der Hindernisvermeidung und der Sim2Real-Übertragung angegangen werden, um Robustheit und Effektivität in realen Umgebungen sicherzustellen?

Praktisches Beispiel

Die Ergebnisse des Projekts werden bei der Entwicklung selbstfahrender Fahrzeuge eingesetzt und verbessern deren Fähigkeit, vielfältige und anspruchsvolle reale Szenarien zu bewältigen, wie etwa das Folgen von Fahrzeugen im dichten Verkehr, die dynamische Hindernisvermeidung und eine reibungslose Sim2Real-Übertragung. Diese Fortschritte tragen zu sichereren und effizienteren autonomen Transportsystemen bei.

Technologie

Das Projekt setzt Deep-Reinforcement-Learning-Algorithmen zum Training von Agenten für das autonome Fahren ein. Zudem werden vision-basierte Systeme für Wahrnehmungsaufgaben, rekurrente neuronale Netze zur Kollisionsrisikoschätzung und Simulationsumgebungen wie CARLA für Training und Tests genutzt. Darüber hinaus werden stochastische Prozesse zur Generierung vielfältiger Trainingsszenarien sowie plattformunabhängige Frameworks für eine nahtlose Sim2Real-Übertragung verwendet.

Ausblick

Die Wirkung des Projekts liegt in der Weiterentwicklung der Zuverlässigkeit und Effektivität autonomer Fahrsysteme durch innovative Deep-Reinforcement-Learning-Ansätze. Zukünftige Forschungen könnten sich auf die Verfeinerung von Trainingsumgebungen konzentrieren, um noch vielfältigere Szenarien abzubilden, Sim2Real-Übertragungstechniken für eine nahtlose Bereitstellung zu verbessern und menschliche Fahrerfahrungen weiter zu integrieren, um die Leistung der Agenten im realen Verkehr zu steigern. Zudem könnte die Erforschung der Anwendung dieser Techniken in anderen Domänen jenseits des autonomen Fahrens die Wirkung des Projekts erweitern.

Publikationen

• Hart, F., Okhrin, O., and M. Treiber, Towards robust car-following based on deep reinforcement learning, Transportation Research Part C: Emerging Technologies, 104486, 2024, DOI: 10.1016/j.trc.2024.104486
• Hart, F., and Okhrin, O., Enhanced method for reinforcement learning based dynamic obstacle avoidance by assessment of collision risk, Neurocomputing 568, 2024, 127097, DOI: 10.1016/j.neucom.2023.127097
• Li, D., and Okhrin, O. Modified DDPG car-following model with a real-world human driving experience with CARLA simulator, Transportation Research Part C: Emerging Technologies, 147, 2023, 103987, DOI: 10.1016/j.trc.2022.103987
• Paulig, N. and Okhrin, O., Robust path following on rivers using bootstrapped reinforcement learning, Ocean Engineering, 298, 117207, 2024, DOI: 10.1016/j.oceaneng.2024.117207
• Hart, F., Okhrin, O., and Treiber, M., Vessel-following model for inland waterways based on deep reinforcement learning, Ocean Engineering 281, 2023, 114679, DOI: 10.1016/j.oceaneng.2023.114679
• Waltz, M., and Okhrin, O., Spatial–temporal recurrent reinforcement learning for autonomous ships, Neural Networks 165, 2023, pp. 634–653, DOI: 10.1016/j.neunet.2023.06.015
• Hart, F., Waltz, M., and O. Okhrin, Two-step dynamic obstacle avoidance, arXiv preprint arXiv:2311.16841, 2023
• Li, D., and O. Okhrin, Vision-based DRL Autonomous Driving Agent with Sim2Real Transfer, arXiv preprint arXiv:2305.11589, 2023
• Li, D., and O. Okhrin, A Platform-Agnostic Deep Reinforcement Learning Framework for Effective Sim2Real Transfer in Autonomous Driving, arXiv preprint arXiv:2304.08235, 2023
• Waltz, M, and O. Okhrin, Two-sample testing in reinforcement learning, arXiv preprint arXiv:2201.08078, 2022

Team

Leitung

• Prof. Dr. Ostap Okhrin

Teammitglieder

• Dianzhao Li
• Martin Waltz