On-the-fly Datensynthese für eine auf Deep Learning basierende Analyse von 3D+t Mikroskopie Experimenten

• Antragsteller: Professor Dr.-Ing. Johannes Stegmaier
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Entwicklungsbiologie
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 447699143

Multidimensionale Fluoreszenzmikroskopie ermöglicht mehrstündige Aufnahmen von 3D Videos (3D+t) kompletter Modellorganismen mit hoher räumlicher und zeitlicher Auflösung. Automatische Bildanalysealgorithmen können verwendet werden, um fluoreszenzmarkierte Strukturen wie Zellkerne und -membranen zu segmentieren und um deren zeitliche Dynamik in großen 3D+t Bilddatensätzen zu verfolgen. Bislang gibt es jedoch keine Algorithmen, die eine fehlerfreie Analyse solcher Bilddaten ermöglichen. Darüber hinaus sind tiefe neuronale Netze, die potenziell perfekt für solche Aufgabenstellungen geeignet sind, aufgrund eines erheblichen Mangels an geeigneten Trainingsdaten, des begrenzten GPU-Speichers und des hohen Zeitaufwands für manuelle Annotationen noch nicht ausreichend auf diese großen Bildanalyseprobleme anwendbar.Ziel des vorgeschlagenen Projekts ist die Entwicklung neuer Methoden zur Erzeugung synthetischer Trainingsdaten für Detektion, Segmentierung und Tracking in großen 3D+t Mikroskopiedaten in der Entwicklungsbiologie. Die generierten Daten sollen überwachtes Training von tiefen neuronalen Netzen mit hohem Trainingsdatenbedarf ermöglichen und bestehende Bildanalysewettbewerbe um realistische Benchmark Datensätze für große 3D+t Probleme erweitern. Im ersten Schritt werden realistische Vordergrundmasken typischer Modellorganismen über eine Simulation von apikalen und basalen Oberflächen der Embryonen und einer realistischen räumlich-zeitlichen Verteilung von künstlichen Zellen innerhalb der Embryonen erstellt. Die simulierten Daten werden Segmentierungsmasken von Zellkernen und -membranen, realistische Bewegungen von Zellen, Zellstadien und -teilung sowie den kompletten Stammbaum der Zellen umfassen. Basierend auf generativen Modellen werden realistische, zeitaufgelöste 3D Mikroskopbilder aus Segmentierungsmasken erzeugt, die eine Konditionierung auf Instanzebene erlauben. Dies beinhaltet die Entwicklung neuer Topologie-erhaltender Fehlerfunktionen und neuer Methoden zur Einbindung von globalem Bildkontext in eine Patch-basierte Verarbeitung. Alle entwickelten Komponenten werden als generisches Softwarepaket implementiert, das sich für eine on-the-fly Datengenerierung mit parametrierbaren Schwierigkeitsstufen eignet, um Modelle langsam an eine Zielkomplexität heranzuführen (Curriculum Learning). Während des Trainings eines überwachten Segmentierungsmodells könnte beispielsweise mit hochwertigen Bildern begonnen und anschließend eine sukzessive Steigerung des Schwierigkeitsgrades vollzogen werden (z.B. Signal-Rausch-Verhältnisses, Erscheinungsbild der Objekte, Objektbewegung und Zellzyklusphasen). Aufgrund der praktisch unbegrenzten Menge an realistischen Daten, die während des Trainings zur Verfügung gestellt werden, erwarten wir, dass die entwickelten Methoden den Mangel an verfügbaren Trainingsdaten weitgehend beheben und wir somit generalisierende tiefe neuronale Netze zur automatischen Analyse von großen 3D+t Mikroskopbildern erhalten werden.

• DFG-Verfahren: Sachbeihilfen