Eine Neuronale Netze Systemarchitektur für multimodale Erklärungen

• Antragsteller: Dr. Martin Dyrba
• Fachliche Zuordnung: Medizininformatik und medizinische Bioinformatik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 454834942

Neuronale Faltungsnetze (CNN) erreichen jüngst eine mit manueller Befundung vergleichbare hohe diagnostische Genauigkeit bei der Erkennung von Krankheitsmustern. Aufgrund von fehlender Nachvollziehbarkeit und Erklärbarkeit solcher Modelle werden diese jedoch nicht in klinischen Studien oder Routinediagnostik angewendet. Daher basiert die radiologische Befundung vor allem auf der visuellen Bewertungen von Bildgebungsrohdaten und der Berufserfahrung des/der (Neuro-)Radiologen/-in. Fortschritte bei Methoden zum Generieren von Erklärungen und Visualisierungen aus CNN-Modellen könnten dazu beitragen, deren klinischen Nutzen zu verbessern.Das Hauptziel dieses Projekts ist die Untersuchung einer Systemarchitektur und Methoden zur Generierung von Erklärungen aus CNN-Modellen, um ein selbsterklärendes und für Menschen verständliches neuronales Netzwerk zu erhalten. Konkret soll hier ein System zur Erkennung von Demenz und leichter kognitiver Störung aufgrund von Alzheimer-Krankheit (AD) und frontotemporaler Lobärdegeneration in Magnetresonanztomographie-Daten (MRT) erstellt werden.Im ersten Schritt wird anhand eines partizipativen Designansatzes untersucht, welche diagnostischen Kriterien Neuroradiologen/-innen anwenden und welche Anforderungen sie an Software zur diagnostischen Unterstützung hinsichtlich Verständlichkeit und Erklärbarkeit stellen. Im zweiten Schritt wird basierend auf einem existierenden CNN-Modell zur Erkennung von AD in T1-gewichteten MRT-Bildern des Gehirns eine CNN-Systemarchitektur entwickelt, die visuelle und semantische Konzepte von hoher diagnostischer Relevanz erlernt. Eine Herausforderung stellt hier die Methodik zur Generierung von visuellen und textuellen Erklärungen dar sowie die Definition einzelner Systemkomponenten und deren Interaktion. Insbesondere soll ein Aufmerksamkeitsmodell erstellt werden, das in der Lage ist, erkannte Konzepte hierarchisch zu repräsentieren, dynamisch mögliche Erklärungen zu generieren und entsprechend der diagnostischen Relevanz auszuwählen. Im dritten Schritt wird eine visuelle Schnittstelle entwickelt. Hier zeigen interaktive CNN-Relevanzkarten basierend auf dem MRT-Scan einer einzelnen Person die Gehirnbereiche mit dem höchsten Beitrag zur diagnostischen Entscheidung. Textuelle Zusammenfassungen beschreiben den CNN-Entscheidungsprozess und erkannte Konzepte, die interaktiv erweitert werden können sollen, um detailliertere Informationen zu erhalten. Schließlich wird der Prototyp des CNN-Modells von Neuroradiologen/-innen hinsichtlich der Auswirkung auf die diagnostische Genauigkeit und den radiologischen Untersuchungsprozess evaluiert. Hier wird eine gesteigerte Diagnosekonfidenz und eine verkürzte Untersuchungszeit erwartet.In diesem Projekt wird ein Konzept für nachvollziehbare und selbsterklärende CNN-Modelle entwickelt. Ebenfalls wird eine Methodik bereitgestellt, um dynamisch nutzbringende Erklärungen zu generieren.

• DFG-Verfahren: Sachbeihilfen