Multimodale Generierung von Counterfactual Baselines für kontrastive Erklärungen

• Antragsteller: Professor Dr. Christian Wachinger
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 565014922

Tiefe neuronale Netze haben in verschiedenen Bereichen, insbesondere in der Medizin, ein transformatives Potenzial. Die klinische Akzeptanz und die geltenden Vorschriften erfordern jedoch eine transparente Entscheidungsfindung. Explainable AI (XAI) zielt darauf ab, die Transparenz zu erhöhen. Kontrastive Erklärungen verdeutlichen, warum ein Modell eine bestimmte Entscheidung getroffen hat, indem sie das tatsächliche mit einem kontrafaktischen Ergebnis vergleichen. Sie werden daher als wünschenswert angesehen, da sie das menschliche Denken und diagnostischen Prozess widerspiegeln. Allerdings können kontrafaktische Ergebnisse nicht beobachtet werden und müssen synthetisch erzeugt werden. Das kontrafaktische Ergebnis kann dann in XAI-Methoden als Baseline gesetzt werden um kontrastive Erklärungen zu erhalten. Wir werden uns auf Shapley-Werte konzentrieren, da diese attraktive theoretische Eigenschaften aufweisen. Dieses Projekt zielt darauf ab, XAI in der relevanten medizinischen Anwendung der Demenzvorhersage voranzubringen, da sich die Zahl der Patienten aufgrund der alternden Gesellschaft bis 2050 verdreifachen dürfte. Wir werden die Differentialdiagnose von Demenz, eine Klassifizierungsaufgabe, und die Vorhersage der Zeit bis zum Ausbruch der Demenz, modelliert mit Survival-Analyse, betrachten. Das Netzwerk muss multimodale Daten verarbeiten, einschließlich Neuroimaging (MRT- und PET-Scans) und klinische Informationen. Wir werden kortikale Oberflächen rekonstruieren und relevante Informationen wie kortikale Dicke und Stoffwechselaktivität auf die Oberflächen abbilden. Die Netze werden dann Oberflächen anstelle von Bildern als Eingabe verwenden. Das Lernen auf Oberflächen wird dieses Projekt von bestehenden Arbeiten unterscheiden. Der Vorteil wird sein, dass die Visualisierung von Erklärungen auf Oberflächen wesentlich klarer sein wird als mit 3D-Volumina. Zu den weiteren technischen Herausforderungen in diesem Projekt gehört die Notwendigkeit, Shapley-Werte zu approximieren, was den Entwurf eines probabilistischen Netzwerks erfordern wird. Darüber hinaus werden wir für die Generierung der Baseline Diffusionsmodelle verwenden, die in der Regel gepaarte Trainingsdaten erwarten. Da wir ungepaarte Trainingsdaten haben werden, werden wir die trainierten Modelle als Diskriminatoren verwenden und einen Cycle Loss formulieren. Um diese Ziele zu erreichen, werden wir viele Demenzdatensätze kombinieren und einen in-house Datensatz verwenden, um genügend Daten für das Training und die Evaluierung zu haben. Die Erklärungen werden anhand synthetischer und medizinischer Daten rigoros evaluiert. Gemeinsam mit unseren klinischen Partnern werden wir ihre Auswirkungen in einer klinischen Nutzerstudie bewerten. Dieses Projekt hat das Potenzial neue Maßstäbe für die Anwendung von KI in der medizinischen Diagnostik setzen, indem es klarere Einblicke in ihre Entscheidungsprozesse bietet und so die Kluft zwischen KI-Modellen und klinischer Nutzbarkeit überbrückt.

• DFG-Verfahren: Sachbeihilfen