Transfer Learning zur Aktivitätserkennung in der Intra-Logistik
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Produktionssystematik, Betriebswissenschaften, Qualitätsmanagement und Fabrikplanung
Verkehrs- und Transportsysteme, Intelligenter und automatisierter Verkehr
Zusammenfassung der Projektergebnisse
Die Lagerhaltung spielt eine entscheidende Rolle in der Logistik, wobei trotz Automatisierung die manuelle Arbeit weiterhin dominiert. Insbesondere die Kommissionierung ist kosten- und zeitintensiv, insbesondere in Hochlohnregionen. Die Unvorhersehbarkeit der Nachfrage erschwert die Lageroptimierung, was eine effiziente Planung unerlässlich macht. Traditionelle Zeitstudien sind teuer. Folglich kann die automatisierte Vorhersage menschlicher Aktivitäten mittels Sensoren sowohl die Effizienz der Lageroptimierung als auch die Ergonomie der Arbeitsabläufe verbessern. Human Activity Recognition (HAR) klassifiziert Bewegungen anhand von Signalen aus Videos, Motion Capture-Systemen oder am Körper getragenen Sensoren wie Beschleunigungsmessern und Gyroskopen. Am Körper getragene Sensoren sind kostengünstig, zuverlässig und nicht-invasiv. HAR findet breite Anwendung im Gesundheitswesen und in intelligenten Wohnumgebungen. Dennoch steht HAR vor Herausforderungen aufgrund der Variabilität menschlicher Bewegungen, fehlender standardisierter Definitionen, begrenzter Datensätze und unausgewogener Klassenverteilungen. Multi-channel Time-Series Human Activity Recognition (multi-channel time-series HAR) stellt im Allgemeinen eine anspruchsvolle Klassifikationsaufgabe dar. Menschliche Aktivitäten und Bewegungen zeigen eine große Variabilität. Menschen führen in ähnlicher Weise Aktivitäten aus, die semantisch sehr unterschiedlich sind; umgekehrt werden ähnliche Aktivitäten auf viele verschiedene Arten ausgeführt. Transferlernen nutzt Wissen aus einer Quell-Domäne, um das Lernen in einer verwandten Ziel-Domäne zu verbessern und Datenbeschränkungen zu überwinden. Die gemeinsame Nutzung von Merkmalsrepräsentationen ist eine Art des Transferlernens, wie beispielsweise attributbasierte Repräsentationen. Attributbasierte Repräsentationen, wie menschliche Aktivitätstaxonomien, unterstützen Transfer-based Human Activity Recognition (Transfera based HAR). Die Definition übertragbarer manueller Aktivitäten in der Lagerhaltung ist jedoch aufgrund der Komplexität menschlicher Bewegungen schwierig. Traditionelles HAR geht von festen Aktivätsklassen aus, während Lagertätigkeiten hochdynamisch sind. Da sich Layouts und Technologien weiterentwickeln, müssen sich HAR-Modelle kontinuierlich anpassen. Motiviert durch den Erfolg semantischer Attribute zur Klassenrepräsentation im Bereich der Bild- oder Szenenklassifikation sowie der Dokumentenanalyse, können menschliche Aktivitäten ebenfalls durch eine Sammlung solcher semantischer Attribute dargestellt werden. Dieses Projekt schlägt eine Methode für Transfer Learning for Multi-channel Time-Series HAR (Transfer Learning for M-HAR) vor, die Attributrepräsentationen und Parametertransfer verwendet. Daher wurden im Rahmen dieses Projekts Logistikdaten (Kommissionier- und Verpackungsszenarien) für HAR mithilfe von Inertialsensoren und optischen Motion-Capture-Systemen aufgezeichnet. Die Aufzeichnungen wurden manuell mit Labels versehen, die sowohl Klassen- als auch menschliche Bewegungsattribut-Labels umfassen. Die Projektergebnisse auf dem aufgezeichneten Datensatz sowie auf einem realistischen Datensatz, der von der MotionMiners GmbH bereitgestellt wurde, belegen die Machbarkeit des Transferlernens durch Tests in realen industriellen Anwendungen. Darüber hinaus wurden verschiedene Aspekte der Annotation wie manuelle Annotation, semi-automatisierte Annotation und abfragebasierte Annotation erprobt. Die Ergebnisse zeigen positive Resultate hinsichtlich der abfragebasierten Annotation. Das Projekt wurde an realistischen Daten der MotionMiners GmbH getestet und zeigte das Potenzial der vorgeschlagenen Methode. Ein Annotationswerkzeug mit diesen Möglichkeiten wurde im Rahmen des Projekts veröffentlicht. Abschließend motivierte die Arbeit Forschung in interessante Richtungen wie die Re-Identifikation von Personen, Datensatz-Bias aufgrund individueller Eigenheiten sowie die Entwicklung eines Tutorials oder Formats zur Datensatz-Erstellung.
Projektbezogene Publikationen (Auswahl)
-
Neuron Pruning for Compressing Deep Networks Using Maxout Architectures. Lecture Notes in Computer Science, 177-188. Springer International Publishing.
Moya Rueda, Fernando; Grzeszick, Rene & Fink, Gernot A.
-
Attribute Representation for Human Activity Recognition of Manual Order Picking Activities. Proceedings of the 5th International Workshop on Sensor-based Activity Recognition and Interaction, 1-10. ACM.
Reining, Christopher; Schlangen, Michelle; Hissmann, Leon; ten Hompel, Michael; Moya, Fernando & Fink, Gernot A.
-
Convolutional Neural Networks for Human Activity Recognition Using Body-Worn Sensors. Informatics, 5(2), 26.
Moya Rueda, Fernando; Grzeszick, René; Fink, Gernot A.; Feldhorst, Sascha & Ten Hompel, Michael
-
Learning Attribute Representation for Human Activity Recognition. 2018 24th International Conference on Pattern Recognition (ICPR), 523-528. IEEE.
Rueda, Fernando Moya & Fink, Gernot A.
-
Towards a Framework for Semi-Automated Annotation of Human Order Picking Activities Using Motion Capturing. In 2018 Federated Conference on Computer Science and Information Systems (FedCSIS), pages 817–821, Poznan, Poland, 2018.
Christopher Reining, Fernando Moya Rueda, Michael ten Hompel & Gernot A. Fink
-
Combining Symbolic Reasoning and Deep Learning for Human Activity Recognition. 2019 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), 22-27. IEEE.
Rueda, Fernando Moya; Ludtke, Stefan; Schroder, Max; Yordanova, Kristina; Kirste, Thomas & Fink, Gernot A.
-
Human Activity Recognition for Production and Logistics—A Systematic Literature Review. Information, 10(8), 245.
Reining, Christopher; Niemann, Friedrich; Moya Rueda, Fernando; Fink, Gernot A. & ten Hompel, Michael
-
Annotation Performance for multi-channel time series HAR Dataset in Logistics. 2020 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), 1-6. IEEE.
Reining, Christopher; Rueda, Fernando Moya; Niemann, Friedrich; Fink, Gernot A. & Hompel, Michael ten
-
LARa: Creating a Dataset for Human Activity Recognition in Logistics Using Semantic Attributes. Sensors, 20(15), 4083.
Niemann, Friedrich; Reining, Christopher; Moya Rueda, Fernando; Nair, Nilah Ravi; Steffens, Janine Anika; Fink, Gernot A. & ten Hompel, Michael
-
Logistic Activity Recognition Challenge (LARa Version 01) – A Motion Capture and Inertial Measurement Dataset
Friedrich Niemann, Christopher Reining, Fernando Moya Rueda, Erik Altermann, Nilah Ravi Nair, Janine Anika Steffens, Gernot A. Fink & Michael ten Hompel
-
Attributebasierte Erkennung menschlicher AktivitA¤ten in industriellen Prozessen am Beispiel der Logistik. Praxiswissen Service, July 2021.
Christopher Santiago Reining
-
Benchmarking Annotation Procedures for Multi-channel Time Series HAR Dataset. 2021 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), 453-458. IEEE.
Avsar, Hulya; Altermann, Erik; Reining, Christopher; Rueda, Fernando Moya; Fink, Gernot A. & ten Hompel, Michael
-
Context-Aware Human Activity Recognition in Industrial Processes. Sensors, 22(1), 134.
Niemann, Friedrich; Lüdtke, Stefan; Bartelt, Christian & ten Hompel, Michael
-
From Human Pose to On-Body Devices for Human-Activity Recognition. 2020 25th International Conference on Pattern Recognition (ICPR), 10066-10073. IEEE.
Rueda, Fernando Moya & Fink, Gernot A.
-
Human Activity Recognition using Attribute-Based Neural Networks and Context Information. In 3rd International Workshop on Deep Learning for Human Activity Recognition, Montreal, August 2021
Stefan Lüdtke, Fernando Moya Rueda, Waqas Ahmed, Gernot A. Fink & Thomas Kirste
-
Annotation Tool for Logistic Activity Recognition Challenge (LARa) Github, 2022
Fernando Moya Rueda & Erik Altermann
-
Context-aware activity recognition in logistics (caarl) – a optical marker-based motion capture dataset (version 1)
Friedrich Niemann, Stefan Lüdtke, Christian Bartelt & Michael ten Hompel
-
Logistic Activity Recognition Challenge (LARa Version 02) – A Motion Capture and Inertial Measurement Dataset
Janine Anika Steffens, Gernot A. Fink & Michael ten Hompel
-
Multi-channel time-series person and soft-biometric identification. In International Conference on Pattern Recognition, pages 256–272. Springer, 2022.
Nilah Ravi Nair, Fernando Moya Rueda, Christopher Reining & Gernot A Fink
-
Retrieval-based Annotation of Multi-channel Time-Series Data for HAR. 2022 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), 212-217. IEEE.
Altermann, Erik; Rueda, Fernando Moya; Rusakov, Eugen & Fink, Gernot A.
-
Video-based Pose-Estimation Data as Source for Transfer Learning in Human Activity Recognition. 2022 26th International Conference on Pattern Recognition (ICPR), 4514-4521. IEEE.
Awasthi, Shrutarv; Rueda, Fernando Moya & Fink, Gernot A.
-
A tutorial on dataset creation for sensor-based human activity recognition. In 2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), pages 453–459. IEEE, 2023.
Christopher Reining, Nilah Ravi Nair, Friedrich Niemann, Fernando Moya Rueda & Gernot A. Fink
-
Dataset bias in human activity recognition
Nilah Ravi Nair, Lena Schmid, Fernando Moya Rueda, Markus Pauly, Gernot A. Fink & Christopher Reining
-
Logistic Activity Recognition Challenge (LARa Version 03) – A Motion Capture and Inertial Measurement Dataset
Friedrich Niemann, Christopher Reining, Fernando Moya Rueda, Nilah Ravi Nair, Philipp Oberdiek, Hülya Bas, Raphael Spiekermann, Erik Altermann, Janine Anika Steffens, Gernot A. Fink & Michael ten Hompel
-
Transfer learning for multi-channel time-series Human Activity Recognition. Eldorado, TU Dortmund
Fernando Moya Rueda
