Körpergetragene, federated, schwach-überwachte Aktivitätsklassifikation durch egozentrische Objekterkennung

• Antragsteller: Professor Dr. Kristof van Laerhoven; Professor Dr. Michael Möller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 506589320

Körpergetragene Sensorik ist eine äußerst vielversprechende Technologie für die Analyse von täglichen Aktivitäten: Bei einem vergleichsweisen kleinen Eingriff in die täglichen Abläufe erlaubt sie vielfältige Anwendungen von medizinischer Diagnose bis hin zur Unterstützung komplexer Arbeitsprozesse. Während (tiefe) neuronale Netzwerke den Stand der Technik auf dem Gebiet der automatischen Datenanalyse darstellen, sind Annotation von Daten für das Training solcher Netzwerke aktuell das größte Hindernis für den Einsatz einer solchen Analyse Körpergetragener Sensorik, da einerseits die Annotation von nicht-visuellen Daten aufgrund ihrer fehlenden Interpretierbarkeit im Nachhinein nahezu unmöglich ist und visuelle Daten andererseits einen signifikanten Eingriff in die Privatsphäre der Teilnehmer einer Studie darstellen. Das Ziel dieses Antrags ist es daher einen federated learning Ansatz umzusetzen, bei dem die Teilnehmer zwar sowohl am Handgelenk getragene Sensorik als auch visuelle Daten aufnehmen, letztere allerdings ausschließlich lokal dafür genutzt werden das Training eines Netzwerkes zur Analyse der Daten der Handgelenkssensorik zu überwachen. Durch einen solchen schwach-überwachten federated learning Ansatz sind wir in der Lage, einerseits das schwierige Annotieren von Daten zu umgehen, andererseits aber auch die Privatsphäre von Teilnehmern in Bezug auf visuelle Daten zu schützen, da diese nie an einen zentralen Server gesendet werden. Unser Ziel ist es somit, dank Grundlagenforschung im Bereich des schwach-überwachten Trainings sowie des federated learnings eine realweltliche Lösung für die Datenanalyse von am Handgelenk getragener Sensorik zu ermöglichen.

• DFG-Verfahren: Sachbeihilfen