Segmentierung für Phasenkontrastmikroskopie mit minimaler Supervision

• Antragsteller: Professor Dr. Constantin Pape
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Zellbiologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 530597088

Mikroskopie ist eine der am häufigsten benutzten Methoden in den Lebenswissenschaften. Moderne Mikroskope produzieren große Datensätze. Zum Beispiel wird Phasenkontrastmikroskopie zur Aufnahme lebender Zellen zu Studien der Entwicklung von Zellkulturen oder Gewebe benutzt. Solche Experimente werden häufig mit hohem Durchsatz durchgeführt und produzieren daher viele Bilder pro Zeitpunkt. Die quantitative Analyse solcher großen Datensätze setzt die Automatisierung des Finden und Markieren der Zellen voraus. Diese Aufgabe kann als Segmentierungsproblem, einem bekannten Problem in der Bildverarbeitung, formuliert werden. Im letzten Jahrzehnt haben sich Deep Learning Methoden in der Bildverarbeitung durchgesetzt, auch in der Segmentierung für Mikroskopie. Hier liefern sie Resultate die oft gut genug für die direkte Anwendung der folgenden Analyse sind. Allerdings kann diese hohe Qualität nur geleistet werden, wenn große Mengen annotierter Trainingsdaten, die den aktuellen Daten sehr ähnlich sind, zur Verfügung stehen. Nur Experten können diese Annotationen erstellen und dieser Prozess ist sehr zeitaufwändig. Dadurch ist der Einsatz der modernen Methoden, und folglich die quantitative Auswertung großer Datensätze, in der Praxis häufig nicht möglich. Um diese gravierende Einschränkung zu beheben plane ich Methoden zu entwickeln die nur einen Bruchteil der annotierten Daten (verglichen zu aktuellen Methoden) benötigen und trotzdem dieselbe Qualität liefern. Ihre Entwicklung wird auf Fortschritten im "self-supervised learning" und "domain adaptation" basieren. Beide Techniken wurden bereits erfolgreich für natürliche Bilder angewendet. In der Mikroskopie konnten sie bisher aber noch keine zufriedenstellenden Resultate liefern. Das vorgeschlagene Projekt umfasst vier spezifische Ziele: i) Erstellen eines großen Datensatzes von Phasenkontrastmikroskopiebildern (ohne Annotationen) in Kollaboration mit einer Mikroskopieeinrichtung. ii) Entwicklung von "self-supervised" Methoden zur Segmentierung von Phasenkontrastmikroskopie. Diese Methoden benötigen große Mengen von (nicht-annotierten) Daten und werden daher basierend auf dem Datensatz aus i) entwickelt. iii) Entwicklung von "domain adaptation" Methoden zur Segmentierung von Phasenkontrastmikroskopie. iv) Verbreitung der Methoden von ii) und iii) als Erweiterungen für eine beliebte Software zur Bildverarbeitung in der Mikroskopie. Der Datensatz aus i) und die Methoden aus ii) werden außerdem zur Beantwortung der Frage nach der Anwendbarkeit von "self-supervised learning" über natürliche Bilder hinaus beitragen. Diese Fragestellung ist aufgrund des überraschenden Erfolgs dieser Methoden für große Datensätze natürlicher Bilder sehr relevant. Der Fokus dieses Projektes ist zwar auf der Phasenkontrastmikroskopie, die zu entwickelnden Methoden werden aber auch als Grundlage für die Anwendung in anderen Modalitäten, wie etwa der Fluoreszenz-oder-Elektronen-Mikroskopie, dienen.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Argyris Papantonis