Adaptionen von Foundation Models fuer die Simulation von physikalischen Prozessen

• Antragsteller: Professor Mathias Niepert, Ph.D.; Professor Dr. Nils Thuerey
• Fachliche Zuordnung: Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 569019417

Die rechnergestützte Modellierung spielt eine entscheidende Rolle bei der Lösung komplexer mathematischer Probleme in Disziplinen wie Physik, Naturwissenschaften und im Ingenieurwesen, mit Anwendungen, die von Fluid- bis hin zu Molekülsimulationen reichen. Scientific Machine Learning ist als leistungsstarkes Paradigma entstanden, das traditionelle wissenschaftliche Berechnungen mit modernen Methoden des maschinellen Lernens kombiniert und die Entwicklung neuer, genauerer und effizienterer Rechenmodelle ermöglicht. Neuere Fortschritte bei Foundation Models (FMs) – großen neuronalen Netzwerken, die selbstüberwacht auf umfangreichen Datensätzen trainiert werden – haben in Bereichen wie Sprache und Bildverarbeitung eine beeindruckende Generalisierungsfähigkeit gezeigt. Die Übertragung dieser Modelle auf physikalische Systeme stellt jedoch spezifische Herausforderungen dar, darunter das Fehlen standardisierter Datensätze, hohe Rechenkosten für die Datengenerierung und die Schwierigkeit, physikbasierte Inductive Biases zu integrieren. Zudem sind Training und Anwendung großer FMs oft sehr ressourcenintensiv, was ihrer praktischen Nutzung für effiziente Simulationen entgegensteht. Dieses Projekt zielt darauf ab, diese Herausforderungen durch vier zentrale Forschungsfragen zu adressieren: (Q1) Welche Inductive Biases und Trainingsmethoden eignen sich für probabilistische Surrogatmodelle? (Q2) Wie kann unsicherheitsgetriebenes Active Learning genutzt werden, um daten- und energieeffizientes Fine-Tuning zu ermöglichen? (Q3) Wie lässt sich das in FMs gespeicherte Wissen in effizientere, physikbewusste Modelle überführen? (Q4) Wie lassen sich Daten sinnvoll sammeln, kuratieren und durch numerische Solver erzeugen, um ressourcenschonendes Training zu ermöglichen? Zur Beantwortung dieser Fragen verfolgt das Projekt drei zentrale Ziele: (1) Entwicklung ressourceneffizienter FM-Adaptionen durch Active Learning und Wissensdistillation, (2) probabilistische Erweiterung von FMs zur Unsicherheitsmodellierung und (3) Integration von physikalischem Wissen zur Verbesserung von Robustheit und Generalisierbarkeit. Das Projekt konzentriert sich auf Flüssigkeiten und PDEs mit flüssigkeitsähnlichem Verhalten als Testfälle zur Evaluierung von Wirksamkeit, Skalierbarkeit und wissenschaftlicher Relevanz.

• DFG-Verfahren: Sachbeihilfen