Unsicherheitsbewertung und kontrastive Erklärungen für die Instanzensegmentierung

• Antragstellerinnen / Antragsteller: Dr. Dagmar Kainmüller; Professor Dr. Wojciech Samek
• Fachliche Zuordnung: Medizininformatik und medizinische Bioinformatik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459422098

Dieses Projekt zielt darauf ab, Konzepte und Methoden für die Modellierung von Unsicherheit und Erklärbarkeit im Zusammenhang mit strukturierten Vorhersagen auf Bildern zu entwickeln. Wir untersuchen Vorhersagen, die im Vergleich zu z.B. Vorhersagen auf Bildebene komplex strukturiert sind, da sie viele interagierende Ausgangsvariablen beinhalten, normalerweise eine pro Pixel. Unser Anwendungsfall ist die Bildsegmentierung, mit besonderem Schwerpunkt auf der Instanzsegmentierung in Mikroskopie-Bildern aus dem biomedizinischen Bereich. Instanzsegmentierung bedeutet, jede Instanz einer Objektklasse von Interesse, wie z. B. jeden Zellkern in Mikroskopieaufnahmen, separat abzugrenzen. Die Ergebnisse der Instanzsegmentierung werden in der Regel aus dichten pixelindividuellen Vorhersagen mittels Inferenzverfahren wie z. B. maximum a posteriori-Inferenz in einem probabilistischen grafischen Modell auf einem Pixelgitter gewonnen.Trotz Fortschritten bei der automatisierten Instanzsegmentierung ist das manuelle Korrekturlesen von Segmentierungsergebnissen in vielen biomedizinischen Anwendungen nach wie vor eine mühsame Angelegenheit, z. B. bei der weit verbreiteten Aufgabe der Segmentierung von Zellkernen, sowie bei derzeitigen groß angelegten Bemühungen zur Segmentierung neuronaler Strukturen. Bestehende Methoden zur Segmentierung von Instanzen liefern in der Regel ein einziges, deterministisches Ergebnis, das weder die Möglichkeit bietet, den Korrekturleser auf mögliche Fehler hinzuweisen, noch Alternativen vorzuschlagen, falls der Korrekturleser einen Fehler identifiziert. Zu diesem Zweck zielt dieses Projekt auf eine Instanzsegmentierungsmethode ab, die Stichproben aus einer Verteilung von Ergebnissen erzeugt. Dies ermöglicht Korrekturlesern sowohl (1) sich auf Bereiche mit hoher Unsicherheit zu fokussieren, als auch (2) im Falle von beobachteten Fehlern alternative Ergebnisse vorgeschlagen zu bekommen. Zur weiteren Erleichterung des Korrekturlesens streben wir Erklärungen an, die hervorheben, welche Merkmale in einem Eingabebild für ein bestimmtes Ergebnis ausschlaggebend sind, d. h. kontrastive Erklärungen.Methoden zur Erfassung der Unsicherheit in strukturierten Vorhersagen auf Bildern stecken noch in den Kinderschuhen, ebenso wie die Erklärbarkeit für pixelweise Vorhersagen. Unser Ziel ist es, Bayes'sche neuronale Netze für die Instanzsegmentierung sowie ein Rahmenwerk für erklärbare Instanzsegmentierung zu etablieren und beides zu kombinieren, um kontrastive Erklärungen für die Modi von prädiktiven Instanzsegmentierungsverteilungen zu erhalten. Die Instanzsegmentierung ist unser Anwendungsfall, doch unsere Methoden lassen sich auch auf andere strukturierte Vorhersageprobleme auf Bildern anwenden, wie semantische Segmentierung und Objektverfolgung.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5363: KI-FOR Integration von Deep Learning und Statistik zum Verständnis strukturierter biomedizinischer Daten