3D L2S-Mikroskopie für ungefärbte Zellhaufen

• Antragsteller: Professor Dr. Ivo Ihrke
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Das beantragte Teilprojekt untersucht die zeitaufgelöste 3D-Aufnahme von Zellhaufen, und erarbeitet damit eines der adaptiven Learning-to-Sense (L2S) Sensorsysteme zur gemeinsamen Optimierung der Systemparameter und des Rekonstruktionsalgorithmus.Das Teilprojekt beschäftigt sich mit der Anwendung der L2S Basistechniken zum Zwecke ihrer Validierung und der Bewertung ihres jeweiligen Nutzens in der Mikroskopie, speziell der dreidimensionalen, zeitaufgelösten Mikroskopie von Zellhaufen in natürlichem Zustand. Diese Anwendung hat höchste Relevanz in der Biomedizin und kann dazu beitragen, künftige personalisierte Behandlungen für schwerwiegende Erkrankungen wie verschiedene Krebsformen oder neurodegenerative Erkrankungen zu ermöglichen. Das Ziel innerhalb des Gesamtprojektes ist es, eine anspruchsvolle Anwendung mittels der neuen L2S Techniken umzusetzen und die Entwicklung letzterer damit zielführend zu begleiten. Wir planen die Konstruktion einer flexiblen mikroskopischen Experimentalplattform, die allein mittels Software signifikant in ihren optischen Eigenschaften verändert werden kann. Dieses bildet dann die Grundlage für eine Optimierung der Abbildungseigenschaften mittels der L2S-entwickelten Methodik. Es geht insbesondere nicht um die Optimierung von Einzelbildern die einem normalen optischen Bild entsprächen, sondern um eine möglichst wahrheitsgetreue, direkte Rekonstruktion der dreidimensionalen Objektdaten, d.h. der Brechindexverteilung und der Verteilung der Absorptionskoeffizienten der Probe, aus mittels KI gesamtoptimierten, hybriden Hardware/Software-Systemen. Die fundamentale Fragestellung dieses Unterprojektes lautet: Ist es in der zeitaufgelösten 3D Mikroskopie ungefärbter Zellhaufen möglich, mittels gezielt angepasster KI Methoden und Hardware/Software Co-Design, in neue Performanzbereiche vorzustoßen, bzw. die Sphäre der Anwendbarkeit (z.B. Sampledicke, kombinierte Beugung und Absorption) signifikant zu erweitern ?Aus dieser Fragestellung und ihrer Konkretisierung ergeben sich die vier Arbeitsbereiche des Teilprojekts: 1. Trainingsdaten-Generierung, Ground Truth-Entwicklung und Probenacquise, 2. Modellierung, System-Simulation und differenzierbarer Digital Twin der Hardware-Komponente, 3. Konstruktion, Validierung und Kalibrierung der Experimentalplattform und 4. L2S-Anwendung für die zeitaufgelöste, dreidimensionale Brechindex- und Absorptionsmikroskopie. Hierbei sind ein Kompentenzaustausch mit dem Teilprojekt P5 (Andreas Kolb) zur Realisierung des Digital Twin und eine enge Zusammenarbeit mit den Teilprojekten P1 (Michael Möller), P2 (Margret Keuper) und P3 (Volker Blanz) zur Erarbeitung der KI-Komponenten des Systems vorgesehen.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5336: KI-FOR Lernen optimaler Bilddatensensorik
• Internationaler Bezug: Frankreich
• Kooperationspartner: Professor Dr. Olivier Haeberlé; Professor Pierre Nassoy, Ph.D.