Fraunhofer-Institut für Materialfluss und Logistik IML
Fraunhofer-Institut für Materialfluss und Logistik IML

3D Sensoren

3D-Sensoren erfassen Tiefendaten von Objekten und Umgebungen, wodurch sie sich ideal für die Objekterkennung, -detektion und -lokalisierung im dreidimensionalen Raum eignen. Da verschiedene 3D-Sensoren unterschiedliche Eigenschaften wie Preis, verwendete Technologie, maximale Reichweite und Qualität der erzeugten Daten aufweisen, wurde am Fraunhofer IML ein kalibrierter und synchronisierter Datensatz für logistische Szenarien, sowie zu Evaluationszwecken aufgenommen. Eine Liste der verwendeten Sensoren befindet sich in der untenstehenden Tabelle. 

Sensoren aus dem Paper

Intel RealSense D455
P+F SmartRunner Explorer 3-D
Azure Kinect DK
Intel RealSense L515
Sick T-mini
Sick Visionary-S
Zivid Two

Die veröffentlichten Datensätze wurden vor allem für verschiedene Zwecke wie dem trainieren von KI Modellen und dem Vergleich verschiedener Sensoren erstellt. Insgesamt werden drei verschiedene Datensätze, welche wiederum mehrere verschiedene Szenarien enthalten, zur Verfügung gestellt. All unsere Datensätze weisen die folgenden Eigenschaften auf:

  • Roh-Tiefendaten im Punktwolken Format in einer ROS-Bag-Datei
  • RGB Daten von allen Sensoren, welche RGB Informationen zur Verfügung stellen
  • Kameramatrizen und IMU-Daten, sofern verfügbar
  • Zeit-Synchronisationsdaten

Eine detaillierte Beschreibung der unten beschriebenen Datensätze, sowie ein qualitativer Vergleich der verwendeten Sensoren kann diesem Paper entnommen werden:

Hoose, S., Finke, J., Rest, C., Stenzel, J., & Jost, J. (2024). Evaluating 3D Depth Sensors: A Study and an Open Source Data Set of Logistic Scenarios.

Dieses kann ebenfalls verwendet werden, um in wissenschaftlichen Veröffentlichungen auf den hier beschriebenen Datensatz [dataset.iml.fraunhofer.de/2024/logistic_depth_data] zu verweisen.

Datensätze

Alle ausklappen Alle einklappen

Die Evaluationsdatensätze, bestehend aus den Aufnahmen eines 3D-gedruckten Würfels und einer Schachtel mit den Außenmaßen 100 x 100 mm, können der Qualitätsbewertung eingesetzter Sensoren dienen. Der Aufbau der Szenen ist für jeden Datensatz statisch, wobei die Sensoren in einer Höhe von 102 cm auf einem Tisch montiert sind und in der Vogelperspektive auf eines der Objekte blicken. Zu jedem Objekt liegt ebenfalls ein CAD Modell vor.

Diese Datensätze können beispielsweise der Bewertung von maschinellen Lern- und Segmentierungsalgorithmen in Logistikszenarien dienen. In allen Szenen wurde eine statische Kameraposition gewählt, in der die Sensoren in einem Abstand von 102 cm in der Vogelperspektive auf die Szenerie ausgerichtet sind. Das erste Szenario umfasst eine Palette mit verschiedenen Verpackungsschemata unterschiedlicher Boxen. Das zweite Szenario zeigt bewegte und unbewegte Kleinladungsträger (KLT) auf einem Förderband, wobei die KLTs mit verschiedenen Warenarten gefüllt sind, darunter Werkzeuge, Einzelhandelsartikel, Boxen und Transparente mit unterschiedlichen Inhalten.

Diese Datensätze dienen der Bewertung von z. B. maschinellen Lernalgorithmen – insbesondere in Semantic Mapping-Anwendungen – unter Verwendung bewegter Kameras. Die relative Position der Sensoren zueinander bleibt durch einen Rahmen, in dem alle Sensoren fest verbunden sind, unverändert. Für die Bewertung wurden zwei Logistikszenarien ausgewählt. Im ersten Szenario wurden Aufnahmen einer Palette erstellt, welche mit verschiedenen Paketen beladen ist, während die Sensoren in einem Kreis um die Palette schweben. Im zweiten Szenario rotiert der Sensorrahmen in einer Logistikhalle, die mit verschiedenen Objekten ausgestattet ist, die typischerweise in Lager- und Logistikeinrichtungen vorkommen, wie Gitterboxen, Meisen, Paletten, KLTs, Feuerlöscher und Menschen, die durch die Szene laufen.