Der Tanz der RoboMaster oder: Die Sprache der Bewegung

Es ist ein echtes Naturschauspiel: Jedes Jahr ziehen rund 50 Milliarden Zugvögel in den Süden, um dort zu überwintern. Besonders beeindruckend sind die sich »bewegenden Wolken« – Schwärme von über einer Million Stare. Die Vögel wissen, wie sie sich in der Formation bewegen müssen, um ihr Ziel zu erreichen, ohne dass der einzelne Star weiß, was der Schwarm als Ganzes gerade macht. Er schaut nur nach links und nach rechts: Ändern seine Nachbarn die Richtung, tut er es ihnen gleich. Ein Zusammenstoßen ist somit ausgeschlossen. Ähnlich verhält es sich mit den RoboMastern, einer Flotte kleiner, autonomer Fahrzeuge. 

Roboter haben jetzt natürlich keine »Augen«, wie Vögel sie haben. Dafür verfügen die RoboMaster über Laserscanner. Diese hochentwickelte Sensorik ermöglicht es den Robotern, Entfernungen zu anderen Objekten und Robotern präzise zu messen. Dadurch können sie nicht nur Hindernissen ausweichen, sondern auch das Verhalten anderer Roboter interpretieren und deren Bewegungen vorhersagen, beispielsweise, ob ein anderer Roboter auf der linken oder rechten Seite vorbeifahren wird, um entsprechend zu reagieren. Dieses »Schwarmverhalten« erlaubt es den RoboMastern, in unterschiedlichen Umgebungen reibungslos zu agieren, ohne miteinander zu kollidieren. 

Doch wie lernt ein RoboMaster, als Fahrzeugflotte zu agieren und sich gleichzeitig auf unvorhersehbare Hindernisse einzustellen? Die Antwort liegt im Maschinellen Lernen, genauer gesagt im Deep Reinforcement Learning (Deep RL). Im Fall der RoboMaster bedeutet dies, dass sie in einer speziell für sie entwickelten Simulation trainiert werden. Während des Trainings erhalten die Roboter Belohnungen für gute Aktionen und Strafen für schlechte. Beispielsweise erhalten sie den Wert 1, wenn sie ihrem Ziel näherkommen, und den Wert –1, wenn sie sich davon entfernen. Für das Erreichen des Ziels erhalten sie einen besonders hohen Wert und einen entsprechend niedrigen, wenn sie beispielsweise gegen eine Wand fahren. Das neuronale Netz (die Künstliche Intelligenz (KI)) lernt aus diesen Belohnungen und optimiert sein Verhalten in den verschiedenen Trainingsszenarien, um die Belohnung zu maximieren. »Man kann sich das wie bei einem Videospiel vorstellen, bei dem es darum geht, möglichst viele Punkte zu machen und keine Leben zu verlieren«, erklärt Christian Jestel vom Fraunhofer IML, der die Simulation geschrieben hat.

Die Simulation hat den Vorteil, dass sie schneller und sicherer ist als das Training in der realen Welt. In der Simulation können die Roboter Tausende von Szenarien durchlaufen, ohne physische Schäden in der realen Welt zu verursachen. Das beschleunigt den Lernprozess erheblich. Erst nach erfolgreichem Training in der Simulation wird die KI auf den mit einem Minicomputer ausgestatteten, realen Roboter übertragen, in der Hoffnung, dass die Simulation die Realität hinreichend genau beschrieben hat. Dieser Übergang von der Simulation zur Realität ist entscheidend und stellt eine der größten Herausforderungen in der Robotik dar, denn Simulation und Realität sind nie exakt gleich. Je genauer die Simulation die Realität abbildet, desto besser wird der Roboter in der realen Welt funktionieren. Der Begriff »Reality Gap« beschreibt den Unterschied zwischen Simulation und Realität. Je kleiner diese Lücke ist, desto nahtloser kann die KI in der realen Welt agieren. »Alles hängt davon ab, wie gut die Simulation die physikalischen Eigenschaften und Umgebungen der realen Welt abbildet«, erläutert Jestel. 

Ein besonderes Merkmal der RoboMaster ist ihre Fähigkeit zur dezentralen Navigation. Anders als herkömmliche autonome Roboter, die von einem zentralen Rechner gesteuert werden, treffen die RoboMaster ihre Entscheidungen autonom und auf Basis ihrer Wahrnehmung der Umgebung. Das macht sie ideal für den Einsatz in dynamischen Umgebungen wie Lagerhallen oder Umschlagplätzen. Sobald der RoboMaster ein Ziel hat, ist er in der Lage, selbstständig und sicher seinen Weg zu finden, ohne dass die Umgebung vorher kartiert werden muss oder menschliche Eingriffe bzw. aufwendige Umprogrammierungen erforderlich sind. Dies könnte in Zukunft die Flexibilität und Effizienz in der industriellen Logistik erheblich steigern. »Bei den RoboMastern handelt es sich um Roboter des chinesischen Herstellers DJI, die wir teilweise leicht an die Anforderungen des Forschungsvorhabens angepasst haben. Die Fahrzeuge stehen exemplarisch für alle smarten Fahrerlosen Transportfahrzeuge und mobilen Roboter, die mithilfe von Algorithmen gesteuert werden sollen«, so Jestel. 

Die Forschung am RoboMaster zeigt, welche Möglichkeiten die simulationsbasierte KI in der Robotik bietet. Die dezentrale Navigation und die Fähigkeit, auf nicht-kooperative Elemente in ihrer Umgebung zu reagieren, könnten die Zukunft der industriellen Automatisierung prägen. Als nächsten Schritt plant das Team um Christian Jestel »Anführer« in die Fahrzeugflotte zu integrieren und das Ausweichverhalten nicht nur untereinander, sondern auch gegenüber Menschen und statischen Objekten zu verbessern.