Steuerung nachgiebiger Mechanismen durch Reinforcement-Learning für Anwendungen in der Soft Robotik

Titel: Steuerung nachgiebiger Mechanismen durch Reinforcement Learning für Anwendungen in der Soft Robotik

Projektdauer: 2022–2024

Forschungsbereich: Ingenieurwesen und Betriebswirtschaft

Ansätze der Soft-Robotik gewinnen in verschiedenen industriellen Domänen zunehmend an Bedeutung. In diesem Zusammenhang bieten nachgiebige Mechanismen ein hervorragendes Kosten-Nutzen-Verhältnis, beispielsweise durch den Wegfall von Gelenken. Das Grundprinzip basiert auf elastischen Biegeelementen, die gezwungen werden, sich wie ein Gelenk oder Scharnier zu verhalten. Dies ermöglicht zudem eine sichere Mensch-Maschine-Interaktion. Der Nachteil ist ein weitaus komplexerer Steuerungsmechanismus im Vergleich zu herkömmlichen Robotern. Mit Hilfe von Reinforcement Learning kann eine komplexe Steuerungslogik etabliert werden. Diese Arbeit konzentriert sich auf die Demonstration einer solchen Steuerung an einem Surrogat- und einem realen Mechanismus, um Schwierigkeiten und Chancen für zukünftige Anwendungen aufzuzeigen.

Ziele

Auf Basis von Finite-Elemente-Modellierung und Machine Learning wird ein hocheffizientes Surrogatmodell entwickelt. Es wurde gezeigt, dass die Ergebnisse in der Lage sind, das reale nachgiebige Verformungsverhalten vorherzusagen und umgekehrt. Damit ist es möglich, umfangreiche Parameterstudien an Surrogatmodellen durchzuführen und verschiedene Szenarien zu testen, wodurch die Ground Truth zum Trainieren des Steuerungsalgorithmus mittels Reinforcement Learning bereitgestellt wird. Zudem können die Auswirkungen von Fertigungstoleranzen und Designänderungen berücksichtigt werden. Dieses Projekt zielt darauf ab, einen effizienten Steuerungsalgorithmus bereitzustellen und Demonstratoren sowohl in der realen Welt als auch in der virtuellen Welt (Surrogat) zu realisieren.

Visualisierung des maschinell-lernbasierten Surrogat-Steuerungsalgorithmus

Problemstellung

Reinforcement Learning basiert stark auf einer großen Anzahl von Trial-and-Error-Iterationen. Zudem ist es notwendig, verschiedene Parameter zu testen, um das gewünschte Verhalten des Algorithmus zu erreichen. Bei einer komplexen Anwendung, bei der jede Iteration einen erheblichen Zeitaufwand erfordert (selbst einige Sekunden), wird die Anwendbarkeit eines solchen Reinforcement-Learning-Ansatzes eingeschränkt und kann sogar verhindert werden.

Demonstrator

Die Demonstratoren bestehen aus einem nachgiebigen Mechanismus, der aus einem einzigen elastischen Element gefertigt ist, dessen beide Enden an rotierenden Aktoren montiert sind. Nach dem Training kann der Algorithmus die Motoren erfolgreich ansteuern und den Mechanismus ein Ziel erreichen lassen.

Realer Demonstrator: Nachgiebiger Mechanismus unter Verwendung eines trainierten, auf Reinforcement Learning basierenden Steuerungsalgorithmus

Publikationen

Muschalski, L., Wollmann, J., Hornig, A., & Modler, N. (2022). Steuerung von Compliant-Mechanismen durch Reinforcement Learning. In M. Berger, B. Corves, & T. Lüth (Hrsg.), Getriebetagung 2022: Tagungsband, Chemnitz, 22.–23. September 2022 (S. 121–131). Logos Verlag, Berlin. https://doi.org/10.30819/5552.10

Abbildungen:

• Project_ILK-SoftRobotics_Agent.gif
  Visualisierung des ML-basierten Surrogat-Steuerungsalgorithmus
• Project_ILK-SoftRobotics_RealWorld.gif
  Realer Demonstrator: Nachgiebiger Mechanismus unter Verwendung eines trainierten, auf Reinforcement Learning basierenden Steuerungsalgorithmus

Team

Leitung

• Prof. Dr. Maik Gude
• Dr. Andreas Hornig

Teammitglieder

• Lars Muschalski

Partner

Institut für Leichtbau und Kunststofftechnik – Technische Universität Dresden (TUD)