Simulationsbasierte-KI - Fraunhofer IML

KI-Spitzenforschung »Made in Germany«

Beschleunigte Planung und Entwicklung logistischer Robotersysteme dank Simulation und Künstlicher Intelligenz.

Schlüsseltechnologien- und Instrumente wie Künstliche Intelligenz und Simulation bieten einen vielversprechenden Lösungsansatz für die zahlreichen Herausforderungen rund um die Entwicklung und Planung logistischer Robotersysteme. Kombiniert ergeben sie das Potential einer Digitalen Realität – einer KI-basierten perfekten Simulation, die eine virtualisierte Entwicklung neuartiger autonomer Systeme ermöglicht - ohne Anpassungsaufwand an die Realität. Es entsteht das Konzept einer Simulationsbasierten KI in einer Digitalen Realität.

Eine neue Klasse von Algorithmen

Die Simulationsbasiere-KI ist eine neue Klasse von Algorithmen, die durch die Grundlage der starkparallelen Verarbeitung moderner Grafikkarten möglich wird. Basierend auf dieser Verarbeitung ist die Simulation hochkomplexer logistischer Vorgänge – auch physikalisch – in Echtzeit realisierbar. Hierzu wird das Verhalten der simulierten mit dem der realen Roboter- und Transportsysteme in einer speziellen Testumgebung – wie dem PACE Lab des IML - abgeglichen und das Simulationsmodell dadurch optimiert. Reduziert sich die Differenz von Modell und Realität, geht die Simulation in eine Digitale Realität für die KI über und der Roboter wird zum CPS-Zwilling (CPS = Cyber-Physisches System) der Simulation.

Veränderte Rahmenbedingungen können kontinuierlich und ohne großen Ressourcenaufwand während der Entwicklungszeit von Transportrobotern in die Simulation integriert werden. Es entsteht ein Digitales Logistisches Kontinuum zwischen Entwicklung und Anwendung, welches die Entwicklungszeit solcher Systeme stark reduziert. Während bisher die Hard- und Softwareentwicklungen hochdynamischer Systeme nacheinander erfolgen mussten, können diese nun parallelisiert werden.

Aufbruch ins Digitale Kontinuum

Alle ausklappen Alle einklappen

Holistische Simulation

... schließt den Kreis von Entwicklung und Anwendung.

Grundlage der simulationsbasieren KI bildet dabei eine ganzheitliche Modellierung der Robotersysteme - eine Holistische Simulation entsteht. Dies beinhaltet einerseits die quasi-optimale Modellierung des physikalischen Verhaltens des Roboters, insbesondere der Motoren und Aktoren. Andererseits entstehen im Bereich der Sensorik neue Möglichkeiten. So lassen sich beispielsweise komplexe Sensoren wie mehrlagige Lasersensoren oder hochauflösende Kameras durch eine raytracing-basierte Simulation abbilden. Neben der Simulation von Aktorik und Sensorik spielt zudem die Modellierung der Kommunikationsebenen eine zentrale Rolle. Indem die Kommunikation sowohl physikalisch als auch auf Protokoll-Ebene vollständig abgebildet wird, schließt sich der Kreis einer ganzheitlichen Betrachtungsweise. Durch diese Form der Holistischen Simulation auf drei Ebenen lässt sich somit eine gezielte Reduktion der Differenz von Modell und Realität erreichen - der Roboter zum CPS-Zwilling der Simulation.

Ein Digitales Kontinuum

... der Entwicklung entsteht, indem Prozesse durch KI hochbeschleunigt ablaufen können.

Durch die Verschmelzung von Realität und Simulation entsteht ein Digitales Logistisches Kontinuum zwischen Entwicklung und Anwendung, welches die Entwicklungszeit solcher Systeme stark reduziert. Für die Entwicklung hochdynamischer Systeme bedeutet dies, dass Hard- und Softwareentwicklungen nun nicht mehr nacheinander erfolgen müssen, sondern stark parallelisiert erfolgen können. Auf Basis dieser ganzheitlichen Modellierung solcher Systeme in der Digitalen Realität bieten sich somit gänzlich neue Möglichkeiten in der Entwicklung. Auf der einen Seite lassen sich Hardwareentwicklungen und Modifikationen anhand eines physikalisch validierten Modells vorab in der virtuellen Welt erproben. Andererseits können ebenso neue Algorithmen und Lernverfahren für diese Systeme mittels synthetischer Daten auf einem realitätsnahen Niveau ressourceneffizient trainiert und evaluiert werden. Das so entstehende Digitale Kontinuum im Kontext der simulationsbasierten KI ermöglicht somit eine beschleunigte Planung und Entwicklung logistischer Robotersysteme auf ganzheitlicher Ebene.

Vorträge

Training Highly Dynamic Robots for Complex Tasks in Industrial Applications

NVIDIA GTC Konferenz 2023

Auf Grundlage der Digitalen Realität mit Simulationsbasierter-KI ist es Forschenden der Silicon Economy im Projekt OpenDynamics unter kürzester Zeit gelungen, eine zukunftsprägende Generation von autonom agierenden Transportrobotern zu bauen - evoBOT^® und »O³dyn«. Praktische Einblicke in das Thema Simulationsbasierte KI haben die Forscher auf der GTC-Konferenz von NVIDIA im März demonstriert.

Den ganzen Vortrag findet ihr bei NVIDIA.

Simulation-Based Development of Mobile Robots: Technical Hands-On to the Next-Generation Logistics Robot O³dyn

NVIDIA GTC Konferenz 2023

Die Entwicklung eines mobilen Roboters von der ersten Idee bis zum autonomen System ist eine komplexe und ressourcenintensive Aufgabe. Wir als Fraunhofer IML nehmen diese Herausforderung an und entwickeln Roboter der nächsten Generation für logistische Anwendungsfälle. Bei dieser Entwicklung spielen Simulationswerkzeuge wie Omniverse Isaac Sim eine immer wichtigere Rolle. Sie erweitern unsere Möglichkeiten im Bereich der Aktoren, Sensoren und Kommunikation. Letztes Jahr haben wir auf der GTC 2022 O³dyn (ehemals Obelix) vorgestellt, einen hochentwickelten Logistikroboter, der bis zu 36 km/h schnell, omnidirektional im Innen- und Außenbereich fahren kann. Er stieß nicht nur in realen Präsentationen auf großes Interesse, sondern auch virtuell in der Keynote der GTC als eines der anspruchsvollsten Simulationsmodelle, die in Isaac Sim verfügbar sind. In diesem Jahr präsentieren wir tiefere Einblicke in das Modell und erläutern technische Hands-On. Dies ist besonders interessant, da O³dyn Open-Source ist und jeder zu Hause mit seiner Dynamik herumspielen kann. Wir zeigen die simulierten Sensoren, wie Lidar und Kameras, sowie die Integration in das Robot Operating System (ROS). Anhand von Beispielen, wie wir diese Werkzeuge in unserer Entwicklungskette einsetzen, geben wir einen Einblick in das tägliche Geschäft der Entwicklung mobiler Roboter mit und ohne Simulationswerkzeuge.

Den ganzen Vortrag findet ihr bei NVIDIA.

Simulationsmodelle

O3dyn

O3dyn vom Fraunhoferinstitut für Materialfluss und Logistik (IML) ist ein hochdynamischer und autonomer mobiler Roboter. Er kann große Lasten im Format einer Palette omnidirektional mit einer Fahrgeschwindigkeit von bis zu 36 km/h transportieren - indoor und outdoor. Das O3dyn-Simulationsmodell versucht, dem realen Fahrzeug so nahe wie möglich zu kommen und bietet ähnliche Dynamik- und Sensordaten.

Weiter zum Simulationsmodell

outdoor-transportroboter-odyn-seitlich — © Fraunhofer IML - Michael Neuhaus

evoBOT

evoBOT vom Fraunhoferinstitut für Materialfluss und Logistik (IML) ist ein hochdynamischer und autonomer mobiler Roboter. Er kann Objekte mit bis zu 40kg bei einer Fahrgeschwindigkeit von bis zu 10m/s transportieren. Das evoBOT-Simulationsmodell versucht, dem realen Fahrzeug so nahe wie möglich zu kommen und bietet ähnliche Dynamik- und Sensordaten.