Multi-Sensor Crop Monitoring for Cacao Production (SeMoCa)
Zusammenfassung der Projektergebnisse
Eine wachsende Weltbevölkerung und klimatische Veränderungen zwingen den Agrarsektor zu technologischen Fortschritten, um eine zuverlässige Nahrungsmittelversorgung zu gewährleisten. Die Automatisierung von landwirtschaftlichen Prozessen hängt in hohem Maße von der Verfügbarkeit von Sensordaten ab. Viele Sensortechnologien werden heute zur Überwachung landwirtschaftlicher Prozesse eingesetzt. Sie sind jedoch auf ihre jeweiligen Messgrößen beschränkt, so dass eine Kombination verschiedener Sensoren notwendig ist, um ein umfassendes Bild der überwachten Umgebung zu erhalten. SeMoCa adressierte diese Anforderung durch einen komplementären Sensorfusionsansatz für eine Kamera und einen Radarsensor zur Überwachung von Früchten vor der Ernte. Das Projekt konzentrierte sich auf die Themen: 1) Aufbau eines Multisensorsystems und Sensordatenfusion, 2) Weltmodellierung einschließlich semantischer Informationen und 3) Interpretation von Informationen auf übergeordneter Ebene. Als Hauptsensoren wurden ein Ultrabreitband-Radar (UWB-Radar) und eine passive binokulare Kamera untersucht. UWB-Radare bieten eine hohe Entfernungsauflösung und zusätzlich die Möglichkeit, durch bestimmte Materialien wie Blätter oder Fruchtschalen hindurchzusehen. Kameras bieten eine hohe räumliche Auflösung. Zusätzlich können binokulare Kameras maßstabsgetreue dreidimensionale Schnappschüsse erzeugen, die zur Kartierung unbekannter Umgebungen eingesetzt werden können. Daher können sich beide Sensortechnologien bei der Überwachung von Pflanzen gegenseitig ergänzen. Die Fusion von beiden Sensoren beginnt mit der Datenzuordnung. Wir haben einen Abgleich der Koordinatensysteme und sensorspezifische Genauigkeiten, z. B. hinsichtlich der Winkelauflösung, untersucht. Für die eigentliche Aufgabe der Obstbeobachtung haben wir einen Fusionsansatz mit einer vorherigen Merkmalsextraktion auf Sensorebene gewählt. Der Kamerasensor kann z.B. die spezifische Form und Textur der Früchte auflösen. Dies wurde mit Hilfe eines Convolutional Neural Network (CNN) zur pixelweisen Segmentierung bewerkstelligt. Der Radarsensor kann die breitbandigen Streueigenschaften der Früchte auflösen. Daher haben wir einen modellbasierten Ansatz entwickelt, um diese Eigenschaften aus den Daten zu extrahieren. Die Weltmodellierung durch SLAM-Algorithmen wird durch komplexe Umgebungsbedingungen erschwert. Durch die Integration von semantischen Bildinformationen (z. B. generiert durch ein CNN) in eine SLAM-Verarbeitungskette konnten wir die Robustheit moderner Verfahren erhöhen. Des Weiteren sind landwirtschaftliche Umgebungen schwierig zu simulieren, z.B. aufgrund natürlicher Variationen des Pflanzenwachstums oder des Einflusses des Wetters. Daher haben wir Messungen mit einer prototypischen Multisensor-Plattform auf einem Wassermelonenfeld durchgeführt. Diese Messkampagne liefert eine umfassende Datenbasis für weitere Untersuchungen. Zusätzlich haben wir Radarmessungen an geernteten Früchten im Labor durchgeführt. Zusammenfassend konnten wir zeigen, dass sich Kamera- und UWB-Radarsensoren bei landwirtschaftlichen Aufgaben gegenseitig ergänzen können. Aufgrund der kurzen Projektdauer und der notwendigen Vorbereitungsarbeiten muss die detaillierte Analyse der Zustandsschätzung von Früchten jedoch in zukünftigen Forschungsarbeiten fortgesetzt werden.
Projektbezogene Publikationen (Auswahl)
-
Enhancement of Vision-Based 3D Reconstruction Systems Using Radar for Smart Farming. 2022 IEEE Workshop on Metrology for Agriculture and Forestry (MetroAgriFor), 155-159. IEEE.
Meyer, Lukas; Gedschold, Jonas; Wegner, Tim Erich; Del Galdo, Giovanni & Kalisz, Adam
-
Error Evaluation of Semantic VSLAM Algorithms for Smart Farming. Proceedings of the 17th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, 801-810. SCITEPRESS - Science and Technology Publications.
Kalisz, Adam; Sun, Mingjun; Gedschold, Jonas; Wegner, Tim; Galdo, Giovanni & Thielecke, Jörn
-
Time-domain Analysis of Ultra-Wideband Scattering Properties of Fruits. 2022 19th European Radar Conference (EuRAD), 77-80. IEEE.
Gedschold, Jonas; Wegner, Tim Erich; Kalisz, Adam; Thoma, Reiner S.; Thielecke, Jorn & Del, Galdo Giovanni
-
Dynamic delay-dispersive UWB-Radar Targets: Modeling and Estimation. Institute of Electrical and Electronics Engineers (IEEE).
Gedschold, Jonas; Semper, Sebastian; Thomä, Reiner; Döbereiner, Michael & Del, Galdo Giovanni
