Sicheres Reinforcement Learning für Anfahr- und Betriebsstrategien Chemischer Prozesse

• Antragsteller: Professor Dr.-Ing. Sergio Lucia Gil; Professor Dr.-Ing. Jens-Uwe Repke
• Fachliche Zuordnung: Chemische und Thermische Verfahrenstechnik ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 466380688

Der autonome Betrieb komplexer chemischer Prozesse bleibt trotz umfangreicher Fortschritte in rechnergestützten Methoden eine Herausforderung. Die Problematik der rein modellgestützten Optimierung des robusten Anlagenbetriebs kann nicht für alle auftretendenden Situationen gelöst werden, z.B. bei starken Störungen oder Produktwechselvorgängen. Daher laufen solche Betriebsstrategien nach sog. Rezepten und durch manuelle Eingriffe ab, welche zu suboptimalen Prozessverläufen führen und die Flexibilität vieler verfahrenstechnischer Prozesse beschränkt. An- und Abfahrtstrategien werden daher vermieden, was ihre Weiterentwicklung beschränkt.Die steigende Verfügbarkeit größerer Datenmengen eröffnet die Anwendung datengetriebener Betriebsstrategien wie Reinforcement Learning (RL). Einige Herausforderungen, wie die rigorose Einhaltung von Betriebsbeschränkungen und die großen benötigten Datenmengen grenzen jedoch die Anwendbarkeit bei verfahrenstechnischen Prozessen ein. Die daraus resultierende Motivation für dieses Projekts ist daher die Überwindung der wichtigsten Beschränkungen des RL durch die Erforschung von möglichen Synergien zwischen drei unterschiedlichen Fachbereichen: Expertenwissen als Betriebsrezepte, modellgestützte Regelung und RL.Das Hauptziel dieses Projekts ist die Entwicklung eines systematischen Ansatzes zur Implementierung und Untersuchung von RL unter realen Bedingungen in komplexen chemischen Prozessen, um den dynamischen Betrieb unter Einhaltung der Prozessbeschränkungen zu optimieren. Dazu wird eine Methodik entwickelt, die RL mit nichtlinearer modellprädiktiver Regelung (NMPC) kombiniert, um dann auf Fälle angewendet zu werden, in denen viele praktische Experimente (1) teuer sind, (2) häufig fehlschlagen und (3) die Modellabweichung signifikant ist.Dieses Projekt nutzt vielfältige Methoden aus der chemischen Verfahrenstechnik, indem es sowohl detaillierte dynamische Simulationsmodelle als auch experimentelle / historische Daten aus realen Experimenten verwendet, die an einer bereits existierenden Batch-Destillationskolonne an der TUB durchgeführt werden. Die Optimierung eines Batchzyklus ist repräsentativ für typische komplexe Anwendungen in der Verfahrenstechnik.Aus dem Bereich des maschinellen Lernens führen wir das Konzept der parameter manifolds auf virtuellen Experimenten ein, um reale Experimente mit unsicheren Parametern wiederzuspiegeln. Effiziente Sampling-Strategien für RL und hochgenaue Surrogatmodelle auf Basis großer Datenmengen werden entwickelt. Ziel ist auch eine neue sichere RL-Methode zu entwickeln, die kontinuierlich verbessert wird, aber sicher ist, da sie NMPC als Policy-Approximator verwendet.Die Methodik ist generisch aufgebaut und kann sowohl in Apparaten als auch in komplexeren Prozessen angewendet werden, bei denen die Modellabweichung eine wichtige Rolle spielt. In Zusammenspiel der Bereiche VT und ML können somit Methoden entwickeln werden, um eine robuste optimale Regelung zu gewährleisten.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2331: Maschinelles Lernen in der Verfahrenstechnik. Wissen trifft auf Daten: Interpretierbarkeit, Extrapolation, Verlässlichkeit, Vertrauen