Detailseite
Projekt
Reinforcement Learning für automatisierte Fließbildsynthese von stationären Prozessen
Antragsteller
Professor Dr.-Ing. Jakob Burger; Professor Dr. Dominik Grimm
Fachliche Zuordnung
Chemische und Thermische Verfahrenstechnik
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 466387255
Die Fließbildsynthese ist ein zentraler Schritt im konzeptionellen Entwurf chemischer Verfahren und naturgemäß ein kreativer Prozess, der schwer zu formalisieren ist. Gängige Methoden der computergestützten Fließbildsynthese sind jedoch meist formalisierte Algorithmen, die wissensbasierte Regeln für die Erstellung von Alternativen sowie mathematische Optimierung für die Auswahl von Alternativen (oft aus Superstrukturen) verwenden.Das Ziel dieses Vorhabens ist die Nutzung moderner Reinforcement Learning (RL) Verfahren für die automatisierte, aber kreative Fließbildsynthese von stationären chemischen Prozessen. Die RL-Umgebung ist ein Prozesssimulator, der das a priori verfügbare physikalische Wissen enthält, d.h. physikalisch-chemische Stoffeigenschaften und eine Reihe von allgemeinen Apparatemodellen. Der RL-Agent kann schrittweise Prozessfließbilder erstellen, sie modifizieren und erhält dabei Rückmeldung vom Simulator. Der Agent verfügt über keinerlei verfahrenstechnische Vorkenntnisse und wird ausschließlich durch automatisierte Interaktion mit dem Simulator auf die Erstellung von Fließbildern trainiert. Die zentrale Arbeitshypothese ist, dass dieser Ansatz in der Lage ist, selbstständig machbare Prozessfließbilder zu erstellen, die bezüglich einer gegebenen Kostenfunktion nahezu optimal oder optimal sind.In der ersten Förderperiode des SPPs wird die Gruppe Burger (Verfahrenstechnik) Simulationsumgebungen für mehrere Beispielprobleme entwickeln und implementieren. Um robuste Simulationsumgebungen zu erhalten, werden vereinfachte Shortcut- und Surrogatmodelle für die Apparate verwendet. Trotz reduzierter Modelltiefe ist der Aktionsraum groß (Vielzahl denkbarer Fließbildvarianten) und parametrisiert (kontinuierlicher Parameter der Apparate). Die Gruppe Grimm (Maschinelles Lernen) wird maßgeschneiderte RL-Methoden entwickeln, um diese Herausforderungen zu meistern. Hierarchisches RL und neuartige Methoden für parametrisierte Aktionsräume werden untersucht und entwickelt. Für eine verbesserte Vorausplanung und Exploration wird das Problem der Fließbildsynthese in ein kompetitives Zwei-Spieler-Spiel eingebettet, das in gemeinsamen Vorarbeiten erarbeitet wurde. Dies ermöglicht ein effizientes Training mit Algorithmen, die für klassische Spieleanwendungen (Schach, Go) entwickelt wurden.Um die optimalen Regeln des Zwei-Spieler-Spiels (erlaubte Aktionen, Ziele und Belohnung) und die optimalen Agentenstrukturen (Feature Selection, hierarchische Entscheidungen) zu finden, ist eine enge Zusammenarbeit zwischen beiden Gruppen in allen Projektphasen erforderlich.Das Projekt ist im Feld F der Kooperationsmatrix des SPPs und im Forschungsbereich #6 Kreativität angesiedelt. Potential zur Zusammenarbeit mit anderen Projekten ist gegeben, da dieses Projekt gemeinsame Interessen mit allen Projekten teilt, die robuste Simulationsumgebungen entwickeln, Prozesseinheiten oder molekulare Strukturen kreativ gestalten und/oder Prozesse optimieren wollen.
DFG-Verfahren
Schwerpunktprogramme
