Posenschätzung für die tomographische Mikroskopie

• Antragsteller: Professor Dr. Ivo Ihrke
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Optik, Quantenoptik und Physik der Atome, Moleküle und Plasmen
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 543691203

Dieser Antrag befasst sich mit dem Problem der 3D-Posenabschätzung für Videosequenzen von ungleichmäßig rotierenden transparenten oder teilweise absorbierenden Proben in der mikroskopischen Bildgebung. Die Fähigkeit, robuste Posen aus solchen Videos zu extrahieren, würde die tomographische 3D Rekonstruktion von ungefärbten lebenden Zellen und Zellverbänden, möglicherweise zeitaufgelöst, ermöglichen, wie es z. B. in der Krebsforschung erforderlich wäre, um die Entwicklung neuer in-vitro Tumormodelle und deren mögliche Behandlungsoptionen unter natürlicheren Bedingungen zu untersuchen und damit Tierexperimente zu minimieren. Anwendungsgebiete sind die Entwicklung allgemeiner Krebsmedikamente und, möglicherweise, in Zukunft personalisierte Behandlungen. Wir nennen den geplanten Ansatz "Tracking-Basierte Tomographische Mikroskopie" (TTM). Das beschriebene Problem entsteht im Zusammenhang mit dem optischen oder akustischen Einfangen (Trapping) und Manipulieren von mikroskopischen Proben, wie es kürzlich von der Gruppe unserer designierten Mercator-Stipendiatin Prof. Dr. Monika Ritsch-Marte, Medizinische Universität Innsbruck, entwickelt wurde, da die erzeugten Kraftfelder, die zur Rotation der Proben verwendet werden, probenabhängig sind. Die Bewegung des Probekörpers ist daher durch eine ungleichmäßige Rotationsgeschwindigkeit und eine Präzession und Nutation der Rotationsachse der Probe gekennzeichnet, die jedoch periodisch sich wiederholend nach je einer vollständigen Drehung die gleiche Lage erreicht. Wir versuchen, dieses neue Problem der Posenschätzung durch geeignete Anpassungen von Structure-from-Motion (SfM)-Algorithmen zu lösen.Das Arbeitsprogramm umfasst die Entwicklung der notwendigen Komponenten und Modifikationen von Algorithmen zur Merkmalserkennung, Tracking, Ausreißerunterdrückung, Datenfilterung, sowie Algorithmen zur Bündelanpassung, um die zuverlässige Schätzung von Posen für die Tracking-basierte Tomographische Mikroskopie (TTM) zu ermöglichen. Unsere Strategie ist die vollständige Ausnutzung des Vorwissens der mikroskopischen Anwendung um diese schwierige Aufgabe zu lösen. Daher werden alle Schritte der SfM-Pipeline unter neuen Prämissen analysiert und verbessert werden. Unser Ziel ist die Entwicklung einer robusten Schätzungspipeline, die wir der wissenschaftlichen Gemeinschaft durch Erweiterung eines bestehenden Open-Source-Projekts zur Verfügung stellen wollen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Österreich
• Kooperationspartnerin: Professorin Dr. Monika Ritsch-Marte