Robustes Data Mining von sehr großen Graphen mit Knotenattributen
Zusammenfassung der Projektergebnisse
Das Ziel des Emmy Noether-Projekts war es, das Verständnis für die Robustheit von graphbasierten Data Mining / maschinellen Lernverfahren zu verbessern. Mit dem zunehmenden Einsatz von maschinellem Lernen auf Graphen wird der Bedarf an zuverlässigen Techniken immer wichtiger. Im Rahmen des Projekts wurde das Feld in drei verschiedene Richtungen weiterentwickelt: (1) Es wurden verschiedene Ansätze vorgeschlagen, die in der Lage sind, Graphen zu perturbieren, so dass Schwachstellen in den verwendeten maschinellen Lernverfahren offensichtlich werden. Unter anderem wurde die Robustheit von Graph Neural Networks und Graph Embeddings untersucht. Alle Studien haben gezeigt, dass graphenbasierte Lerntechniken sehr anfällig für Störungen in den Daten sind und dass die Ergebnisse sorgfältig geprüft werden müssen. (2) Es wurden Techniken entwickelt, die die Robustheit der Modelle erhöhen. Die vorgeschlagenen Weiterentwicklungen reichen von robusteren Clustering-Techniken über fortgeschrittene Trainingsverfahren, bis hin zu verbesserten Architekturen für Graph Neural Networks. In verschiedenen experimentellen Studien, wurde der Vorteil dieser robusten Modelle gegenüber den nicht robusten Grundmodellen gezeigt. (3) Es wurden Verfahren zur Zertifizierung der Robustheit von graphenbasierten Modellen entwickelt, d. h. zur Bereitstellung mathematischer Garantien über die Stabilität der Ergebnisse eines Modells. Die Zertifikate umfassen White-Box-Zertifikate, die die Besonderheiten bestimmter Klassen von Ansätzen ausnutzen und Black-Box-Zertifikate, die allgemein anwendbar und modellunabhängig sind. Hand in Hand mit diesen Hauptrichtungen wurden verschiedene Ansätze zur Skalierung der vorgeschlagenen Ansätze und der Graph-Learning-Techniken im Allgemeinen untersucht, z.B. unter Ausnutzung der Sparsity der Daten oder die Berücksichtigung großer/verteilter Lernumgebungen.
Projektbezogene Publikationen (Auswahl)
-
Robust Spectral Clustering for Noisy Data: Modeling Sparse Corruptions Improves Latent Embeddings. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2017
Aleksandar Bojchevski, Yves Matkovic, Stephan Günnemann
-
Adversarial Attacks on Neural Networks for Graph Data. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2018 [Best Research Paper Award]
Daniel Zügner, Amir Akbarnejad, Stephan Günnemann
-
Bayesian Robust Attributed Graph Clustering: Joint Learning of Partial Anomalies and Group Structure. AAAI Conference on Artificial Intelligence, 2018
Aleksandar Bojchevski, Stephan Günnemann
-
Deep Gaussian Embedding of Graphs: Unsupervised Inductive Learning via Ranking. International Conference on Learning Representations (ICLR), 2018
Aleksandar Bojchevski, Stephan Günnemann
-
Adversarial Attacks on Node Embeddings via Graph Poisoning. International Conference on Machine Learning (ICML), 2019
Aleksandar Bojchevski, Stephan Günnemann
-
Certifiable Robustness and Robust Training for Graph Convolutional Networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2019
Daniel Zügner, Stephan Günnemann
-
Certifiable Robustness to Graph Perturbations. Neural Information Processing Systems (NeurIPS), 2019
Aleksandar Bojchevski, Stephan Günnemann
-
Certifiable Robustness of Graph Convolutional Networks under Structure Perturbations. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2020
Daniel Zügner, Stephan Günnemann
-
Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More. International Conference on Machine Learning (ICML), 2020
Aleksandar Bojchevski, Johannes Gasteiger, Stephan Günnemann
-
Reliable Graph Neural Networks via Robust Aggregation. Neural Information Processing Systems (NeurIPS), 2020
Simon Geisler, Daniel Zügner, Stephan Günnemann
