Automatisches Labelling der Anatomien in großskaligen medizinischen Bilddatensätzen durch sElbst-überwachtes multimodales Lernen

• Antragsteller: Professor Dr. Mattias Heinrich
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Medizinische Physik, Biomedizinische Technik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 500498869

Die Analyse medizinischer Volumendaten hat in den vergangenen Jahren große Fortschritte auf Grundlage neuartiger Deep Learning Verfahren gemacht. Für eine erfolgreiche Etablierung im Gesundheitswesen fehlen allerdings großskalige Datensätze, die einen großen Querschnitt aus der Bevölkerung wiederspiegeln und sowohl normale Anatomie als auch Anomalien zuverlässig erkennen. Das wissenschaftliche Ziel des Projekts ist die Entwicklung von robusten, automatischen und effizienten Algorithmen für die Segmentierung von inneren Organen, Knochen und der Körperoberfläche basierend auf 3D MRT-Scans der großskaligen NAKO-Populationsstudie mit 30'000 Volumen. Hierbei sollen Verfahren der lernbasierten multimodalen Registrierung und des Lernens aus nicht-annotierten 3D Datensätzen aus dem DFG-Vorläuferprojekt weiterentwickelt und in einem Software-Demonstrator nutzbar gemacht werden. Im Rahmen dieses Erkenntnistransfers werden die Projektpartner die komplementären Vorarbeiten von Fraunhofer MEVIS und der Uni Lübeck gezielt erweitert, um eine Kombination aus selbstüberwachtem Vortraining, multimodalem Transferlernen, Bildregistrierung und Segmentierung in neuartigen Deep Learning Verfahren zu integrieren. Diese werden anschließend angewendet, um mehrere Tausend 3D MRT-Aufnahmen aus der NAKO-Populationsstudie automatisch zu segmentieren und auf einem Validierungsdatensatz im Vergleich zum manuellen Goldstandard zu evaluieren. Gemeinsam mit dem Anwendungspartner Philips sollen Unsicherheiten und Anomalien aus den Segmentierungsmodellen abgeschätzt und ein geometrischer 3D Atlas erstellt werden, der mit Punktwolkennetzwerken die Lokalisierung von inneren Anatomien anhand der Körperoberflächen ermöglicht. Source-Code und trainierte Modelle, der an der UzL entwickelten neuralen Netzwerke, sowie anatomische Label der NAKO-Daten sollen der Forschungsgemeinschaft frei zur Verfügung gestellt werden. Gemeinsam wird im Laufe des Projekts ein Demonstrator (TRL 6-7) entwickelt, der eine höhere Automatisierung des MRT-Aufnahmeprozesses im klinischen Alltag mit Hilfe der oberflächenbasierten Anatomieerkennung basierend auf Tiefendaten realisiert und einen erheblichen wirtschaftlichen Vorteil und sowie eine Beschleunigung des Ablaufs bietet und weitere Verwertungsmöglichkeiten durch die automatische Analyse der Scans ermöglicht.

• DFG-Verfahren: Sachbeihilfen (Transferprojekt)
• Anwendungspartner: Philips Medical Systems Development and Manufacturing Centre (DMC) GmbH
• Kooperationspartner: Dr. Stefan Heldmann