MARTIAN: Auf maschinellem Lernen basierende automatisierte Mikroskopie für Echtzeit-3D-Partikelverfolgung, Analyse und Rückkopplungskontrolle dynamischer Systeme

• Antragsteller: Dr.-Ing. Özgün Yavuz
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Künstliche Intelligenz und Maschinelle Lernverfahren ; Optik, Quantenoptik und Physik der Atome, Moleküle und Plasmen
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 571772459

Ziel dieses Projekts ist die Entwicklung einer experimentellen Plattform, die ultraschnelle Hybrid-Mikroskopie mit maschinellem Lernen (ML) für das dreidimensionale Tracking, die Musteranalyse und Steuerung angetriebener kolloidaler Systeme in Echtzeit verbindet. Die Hellfeld-Mikroskopie ist zwar für die laterale Bildgebung geeignet, hat aber aufgrund des begrenzten Kontrasts bei kleinen Fokusabständen Probleme bei der Auflösung von Tiefeninformationen. Interferometrische und holografische Techniken verbessern die Empfindlichkeit gegenüber Phasenvariationen, insbesondere wenn sie durch ML unterstützt werden; die Analyse dicht gepackter Partikelgruppen bleibt jedoch schwierig. Unser experimentelles System besteht aus Polystyrol-Nanopartikeln, die zwischen Glas-Objektträgern eingeschlossen sind und durch Marangoni-Strömungen angetrieben werden, die wiederum durch ultrakurze Laserpulse ausgelöst werden. Diese Bedingungen führen zur Bildung komplexer, selbstorganisierter Strukturen wie Moiré-Muster und quasi-periodischer Anordnungen. Die dreidimensionale Dynamik dieser sich entwickelnden Muster zu erfassen, erfordert neue Bildgebungsstrategien. Wir werden ein hybrides Beleuchtungssystem entwickeln, das kohärente (holografische) und inkohärente (Hellfeld-) Bildgebung kombiniert und ultraschnelle Aufnahmen mit Belichtungen unter 10 ms ermöglicht. Eine GPU-basierte Datenverarbeitung wird geringe Latenzen ermöglichen, die für Echtzeit-Feedback unerlässlich sind. Wir werden ML-Algorithmen entwickeln, um Partikel zu lokalisieren, Tiefeninformation abzuschätzen und Muster zu klassifizieren. Zunächst werden modellbasierte Tracking-Methoden eingesetzt, gefolgt von Deep-Learning-Techniken wie ResNet und YOLO, die wir für Hochgeschwindigkeitsaufnahmen bei hoher Partikeldichte angepassen. Neben experimentellen Daten werden synthetische Datensätze für das Modelltraining eingesetzt, die wir durch Simulationen mittels Mie’scher Streutheorie und finite-difference time-domain (FDTD) Methode erzeugen. Methoden zur Merkmalsextraktion, einschließlich der Analyse der Bindungsorientierung und Voronoi-Zellen, werden in überwachte Klassifikatoren wie Random Forests einfließen. Indem wir Informationen aus der hybriden Beleuchtung integrieren, werden wir die dreidimensionale Mustererkennung verbessern, insbesondere bei komplexen, mehrschichtigen Systemen. Schließlich werden Strategien des Reinforcement Learning (RL) auf der Grundlage von Actor-Critic-Modellen die Versuchsparameter dynamisch optimieren, die Musterbildung steuern und seltene dynamische Ereignisse aufdecken. Auf Entropie basierende Metriken werden in Belohnungsfunktionen integriert, um Übergänge zu erkennen. Dieses Projekt wird durch die Integration von Echtzeit-Bildgebung, ML-gestützter Analyse und experimenteller Steuerung innerhalb eines geschlossenen Regelkreises eine neue Methodik zur Erforschung von Nicht-Gleichgewichtssystemen schaffen, die für Physik, Biologie und Materialwissenschaften relevant ist.

• DFG-Verfahren: Sachbeihilfen