Anwendungen der Theorie zufälliger Matrizen auf approximative Bayes-Inferenz für maschinelles Lernen

• Antragsteller: Professor Dr. Manfred Opper
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik ; Statistische Physik, Nichtlineare Dynamik, Komplexe Systeme, Weiche und fluide Materie, Biologische Physik
• Förderung: Förderung von 2018 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 407712271

Die Bayes Statistik liefert einen wichtigen methodische Ansatz für das maschinelle Lernenaus Daten. Sie verbindet ein probabilistisches Modell der Datenerzeugung mit Vorkenntnissen über Parameter des Modells, welche in einer Wahrscheinlichkeitsverteilung der Parameter zusammengefasst wird. Die praktische Anwendbarkeit dieser Idee auf Modelle mit einer großen Zahl von Parametern ist oft eingeschränkt durch das Problem, Berechnungen mit hochdimensionalen Wahrscheinlichkeitsverteilungen durchführen zu müssen. Methoden der approximativen Inferenz wurden im Gebiet des maschinellen Lernens eingeführt, um solche Verteilungen durch einfachere - typischerweise multivariate Gaussverteilungen - anzunähern. Diese Methoden der Inferenz erzielen oft exzellente Resultate in Anwendungen.Die Aktualisierung der Kovarianzmatrizen der Verteilungen (welche wichtige Informationen über die Unsicherheiten und die Abhängigkeiten zwischen Variablen enthalten) in einem Algorithmus benötigt jedoch Berechnungen, deren Komplexität kubisch mit der Zahl der Parameter anwächst. Dies macht die Anwendung solcher Methoden problematisch, wenn die Zahl der Variablen groß ist. Daher sind oft weitere Näherungverfahren nötig, die jedoch die Qualität der Vorhersagen der Modelle verschlechtern können. Ein weiteres Problem beruht auf der Tatsache, dass die Konvergenz einiger populärer Inferenzalgorithmen bisher kaum verstanden ist. Konvergiert ein solcher Algorithmus nicht, so ist es unklar, ob dies ein Artefakt des Algorithmus ist, oder durch die Komplexität des Bayes Modells hervorgerufen wird.Motiviert durch Forschungsergebnisse im Bereich der Informationstheorie und der statistischen Physik soll das Projekt diese Probleme aus einem neuen Blickwinkel angehen. Unter der Annahme, dass Datenmatrizen sich als zufällige Matrizen (in einem mathematisch wohldefinierten Sinn) auffassen lassen, kann man die Theorie zufälliger Matrizen benutzen, um die nötigen Berechnungen weitaus effizienter durchzuführen. Man erwartet, dass diese Näherungen um so besser werden, je grösser die Matrizen sind. Die Methode der zufälligen Matrizen zeigt auch neue Wege auf, um das Verhalten iterativer Inferenzalgorithmen für große Probleme (unter statistischen Annahmen der Datenerzeugung) zu analysieren.Wir wollen diese Ideen dazu benutzen, um bestehende Algorithmen effizienter zu machen, aber auch um neue Algorithmen mit optimiertem Konvergenzverhalten zu konstruieren. Wir wollen die Qualität und die Robustheit unserer Verfahren untersuchen, sowiederen Leistungsfähigkeit mit konkurrierender Methoden auf simulierten und echten Datenproblemen vergleichen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Dänemark, Schweiz
• Kooperationspartner: Professor Giuseppe Caire, Ph.D.; Dr. Nicolas Macris; Professor Dr. Ole Winther