Beweisbare Robustheitszertifizierung von Neuronalen Netzen für Graphen

• Antragsteller: Professor Dr. Stephan Günnemann
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 463892539

Neuronale Netze für Graphen (GNNs) haben sich neben CNNs und RNNs zu einem essentiellen Baustein moderner Deep Learning Modelle entwickelt, mit weitreichender Bedeutung für Domänen wie der Chemie (Molekulargraphen), den Sozialwissenschaften (soziale Netzwerke), der Biomedizin (Genregulationsnetzwerke) und vielen mehr. Aktuelle Studien zeigen jedoch, dass GNNs nicht robust sind: selbst kleine Perturbationen der Graphstruktur oder Attributinformation können die Vorhersagen der Modelle dramatisch fehlleiten. Eine Nutzung in realen Anwendungen wird dadurch nahezu unmöglich, da Daten häufig verunreinigt, verrauscht, oder sogar gezielt manipuliert sind.Das Ziel des Projektes ist es das Vertrauen in GNNs zu erhöhen indem Methoden für Ihre Robustheitszertifizierung erforscht werden, d.h. die mathematisch nachweisbare Aussagen treffen, ob Perturbationen einer bestimmte Klasse zu keiner Veränderung in der Vorhersage führen. Damit wird gezielt eine Kernsäule des Schwerpunktprogramms, das Thema “safety and robustness”, adressiert. Wir untersuchen hierbei neue theoretische Garantien für wichtige maschinelle Lernaufgaben auf Knoten- und Graphebene, welche weit über die wenigen existierenden Verfahren hinausgehen sowie deren kritischen Einschränkungen adressieren. Insbesondere erforschen wir Zertifizierungsprinzipien welche fundamentale, jedoch bislang nicht berücksichtigte, Eigenschaften von Lernaufgaben auf Graphen, wie die simultane Vorhersage mehrerer Ausgaben oder die Permutationsinvarianz, berücksichtigen. Die Zertifikate sollen in all diesen Fällen durch Ausnutzung weiterer modellspezifischer Informationen verbessert werden. Da GNNs auch insbesondere für die Regression von kontinuierlichen Zielvariablen, z.B. der Vorhersage von Energiepotentialen von Molekülen, eingesetzt werden, untersuchen wir zusätzlich und erstmalig auch Zertifikate für dieses herausfordernde Szenario. Hand in Hand mit der Erforschung neuer Zertifikate planen wir ebenso die Untersuchung ihrer inhärenten Einschränkungen, verursacht z.B. durch den Fluch der Dimensionalität oder durch Relaxierung der zugrunde liegenden schweren Optimierungsprobleme.Insgesamt liefert das Projekt durch die Herleitung formaler Robustheitsgarantien einen wesentlichen Baustein für die theoretischen Grundlagen von GNNs. Jedes Arbeitspaket geht hierbei auf unterschiedliche und notwendige Aspekte der Robustheit ein. Durch die Vielzahl von Anwendungsszenarien von GNNs erwarten wir eine breite Wirkung hinein in Forschung und Anwendung.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning