Picture of the Future: AR ULD Build-Up

Current situation

The assembly of unit load devices (ULDs) is still largely carried out manually - the information required for assembly can often only be checked and used for further planning when it arrives at the warehouse.

 

Augmented reality (AR)

AR enables reality to be enriched with virtual content. By using cameras, sensors and displays, virtual aspects of real situations can be superimposed on the user. The superimposed virtual objects continuously adapt to the current position of the viewer, resulting in a fusion of reality and virtuality.

Fields of application for AR in ULD handling

Training

 

In the area of staff training and development, the use of AR offers the opportunity to make training more efficient and effective. In addition to purely theoretical and illustrative lessons, the ‘muscle memory effect’ means that tasks and activities can be better internalised during training. This effect can be further enhanced in conjunction with serious gaming.

Compared to analogue training, a digital application also offers the possibility of carrying out training with the AR system in several languages, thus addressing a larger potential group of employees.

AR technology can be used for training in the area of ULD construction in the following areas:

  • Pallet assembly according to the required contour
  • Compliance with the relevant handling instruction such as
    • stacking factor
    • Load capacity
    • Loadability
  • Uniform loading of the pallet according to 'Weight and Balance'^

 

Contour control

 

Currently, the contour of an assembled ULD is checked using a corresponding contour frame, which is pulled over the ULD. If defects become apparent during the check, the entire assembly process may have to be repeated, which can lead to delays in dispatch.

 

AR makes it possible to check compliance with the contour at any time by placing a virtual grid over the assembly station on which the ULD is assembled. This allows errors to be recognised and rectified at an early stage.

 

© Fraunhofer IML

Build-Up Prozess

Um den gesamten Build-Up Prozess zu digitalisieren, reicht es nicht, nur mit dem Aufbauprozess den letzten Schritt zu betrachten. Der Aufbauprozess ist in drei generelle Phasen aufteilen:

In der ersten Phase müssen mittels Kamera- und Sensortechniken die Maße, Gewicht und Material der jeweiligen Sendungen für jedes einzelne Packstück auf Piece Level erfasst werden. Gemeinsam mit den Handlingeigenschaften entsteht so ein virtueller, digitaler Zwilling,  welcher für die weitere Planung notwendig ist.

Die Daten werden in einem zweiten Schritt genutzt, um mittels eines Algorithmus, der anhand der individuellen Eigenschaften und der vorgegebenen Kontur der ULD ein Packmuster generiert. Dadurch erhält man am Ende der zweiten Phase die Ladungsfolge und Zusammenstellung einer optimal bepackten ULD-Einheit gemäß Hüllgeometrie des Flugzeugs.

In der dritten Phase wird die vorher berechnete optimale ULD auf eine AR-Datenbrille übertragen, sodass der Mitarbeiter die berechnete optimale Anordnung der Pakete über AR sehen kann. Nun kann die berechnete ULD-Einheit anhand von Step-by-Step Anweisungen durch den Lagerarbeiter in der Realität nachgebildet werden. Eine Konturkontrolle kann entfallen, wenn softwareseitig sichergestellt ist, dass die Packstücke wirklich nur an der vorgesehenen Stelle platziert wurden bevor die nächste Anweisung erscheint.