Beschleunigung von Diffussionsmodellen durch dünnbesetzte neuronale Netze

• Antragsteller: Professor Dr. Johannes Lederer
• Fachliche Zuordnung: Mathematik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 543964668

Mathematische Konvergenzgarantien für Diffusionsmodelle sind in letzter Zeit zu einem aktiven Forschungsthema geworden. Studien haben nicht-asymptotische Konvergenzraten für die Variation zwischen generierten und ursprünglichen Stichproben bewiesen. Diese Raten wachsen mit O(d/epsilon), das heißt, sie haben eine klare polynomielle Abhängigkeit von der Dimensionalität der Daten "d" und dem Fehlerniveau "epsilon". Unser Ziel ist es, diese Konvergenzraten in Bezug auf "d" zu verbessern. Wir versuchen Raten im Wesentlichen von der Größenordnung O(s/ε) zu entwickeln, wobei die effektive Dimension "s" viel kleiner als "d" ist. Zum Beispiel kann "s" die Dünnbesetztheit des Schätzers abbilden. Um diese Raten zu erreichen, entwickeln wir zwei unterschiedliche Ansätze: Erstens betrachten wir Zielverteilungen, die auf einer niedrigdimensionalen Mannigfaltigkeit liegen, die wiederum in einen hochdimensionalen Umgebungsraum eingebettet ist. In diesem Fall nutzen wir die geschätzte Score-Funktion, insbesondere die in ihr gespeicherten Informationen über die Mannigfaltigkeit, um die Stichprobenverfahren zu beschleunigen. Zweitens betrachten wir Zielverteilungen deren Score-Funktion durch ein dünnbesetztes neuronales Netz approximiert werden können. In diesem Fall verwenden wir Regularisierungstechniken aus der hochdimensionalen Statistik, um die Stichprobenverfahren zu beschleunigen. Nachdem wir diese mathematischen Ergebnisse hergeleitet haben, verbinden wir sie mit den algorithmischen Herausforderungen, die bei der Minimierung von Score-Matching-Funktionen auftreten.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2298: Theoretische Grundlagen von Deep Learning