Angriffe auf maschinelles Lernen in strukturierten Domänen

• Antragsteller: Professor Dr. Konrad Rieck
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 492020528

Techniken des maschinellen Lernens werden zunehmend in sicherheitskritischen Anwendungen eingesetzt, wie der Erkennung von Schadcode und Angriffen. Aktuelle Lernalgorithmen sind jedoch häufig selbst verwundbar und können durch geschickte Eingaben getäuscht und manipuliert werden. In den letzten Jahren sind so eine Reihe von neuen Angriffstechniken gegen maschinelles Lernen entwickelt worden.Bis auf wenige Ausnahmen hat sich diese Forschung jedoch auf ein vereinfachtes Szenario konzentriert: Die Angriffe erfolgen ausschließlich im Merkmalsraum der Lernalgorithmen. Durch kleine Änderungen an Vektoren in diesem Raum wird es möglich, die Entscheidungen der Algorithmen zu beeinflussen und falsche Vorhersagen zu provozieren. In der Praxis sind diese Angriffe aber nur dann anwendbar, wenn die manipulierten Vektoren auch wieder zurück auf reale Objekte abgebildet werden können. Für strukturierte Daten, wie Programmcode, Dateiformate und natürliche Sprache, ist diese inverse Abbildung von Vektoren zu Strukturen jedoch fast nie definiert. Die Robustheit vieler sicherheitskritischer Anwendungen kann so mit der Mehrheit der existierenden Angriffe nicht untersucht und geprüft werden.Das Ziel dieses Projekts ist es, die Sicherheit von Lernalgorithmen in strukturierten Domänen zu erforschen und damit eine Lücke in der aktuellen Forschung zu schließen. Im Gegensatz zu bisherigen Arbeiten soll ein systematisches Verständnis von der Beziehung zwischen dem Problemraum der ursprünglichen Daten und dem Merkmalsraum entwickelt werden. Hierfür sollen zwei Strategien verfolgt werden: Zum einen sollen inverse Abbildungen für strukturierten Daten untersucht und entwickelt werden, die fehlende Semantik und Syntax im Problemraum nachbilden. Zum anderen sollen neue Angriffe erforscht werden, die direkt auf strukturierten Daten operieren und somit nicht von Merkmalsabbildungen beeinträchtigt werden. Basierend auf beiden Strategien sollen dann neue Verteidigungen entstehen, die die Verzahnung von Problem- und Merkmalsraum nutzen, um robustere Lernsysteme in der IT-Sicherheit zu realisieren.

• DFG-Verfahren: Sachbeihilfen