Reinforcement Learning zur optimalen Regelung von elektrischen Antriebssystemen

• Antragsteller: Professor Dr.-Ing. Oliver Wallscheid
• Fachliche Zuordnung: Elektrische Energiesysteme, Power Management, Leistungselektronik, elektrische Maschinen und Antriebe ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459524199

Zur Erfüllung vielfältiger Aufgaben werden elektrische Antriebe unter anderem in Fertigungsstraßen, Zentrifugen und Krane sowie in Straßen-, Wasser- und Schienenfahrzeugen als auch Flugzeugen eingesetzt. Üblicherweise werden die Antriebe geregelt betrieben, wobei je nach Anwendung eine Regelung von Strömen, Drehmoment, Drehzahl, Position oder auch (Blind-)Leistung erfolgen kann. Neben den typischen Zielen der stationären Regelgenauigkeit sowie der hohen Bandbreite werden zahlreiche weitere Anforderungen gestellt, wie z. B. der Betrieb mit minimalen Energiewandlungsverlusten. Die feldorientierte Regelung (FOR) stellt bis heute das meist verwendete Verfahren zur Regelung elektrischer Antriebe dar. Die klassische FOR zeichnet sich hierbei durch lineare Regelgesetze aus, deren Parametrierung mit etablierten Standardverfahren erfolgt. Dieses Vorgehen ermöglicht eine (vermeintlich) zügige Regelungssynthese, stößt hinsichtlich der oben genannten Regelungsziele allerdings schnell an Grenzen: Stellgrößenbegrenzungen und nichtlineare Regelstreckenmodelle sowie Abweichungen zwischen dem idealisierten Modell- und tatsächlichem Systemverhalten führen in Kombination mit lediglich linearen Reglern zu einer deutlich suboptimalen Regelungsperformanz. Aufgrund der typischen Modellvereinfachungen (insbesondere unbeschränktes, linear-zeitinvariantes Modell) und der daraus resultierenden Abweichung zum tatsächlichen Systemverhalten ist zudem die Applikation von FOR-basierten Regelungssystemen typischerweise mit einem erheblichen Aufwand verbunden, u. a. im Bereich stark ausgenutzter Motoren der Automobiltechnik. Vor diesem Hintergrund wurden in den letzten zwei Dekaden verstärkt Methoden aus dem Bereich der optimalen Steuerung für elektrische Antriebssysteme untersucht. In dieser Domäne wurden bisher allerdings ausschließlich Verfahren aus dem Bereich der modellprädiktiven Regelung (MPC) angewandt, während alternative Konzepte auf Basis eines Reinforcement Learnings (RL) bisher vernachlässigt wurden. Ersteres hat den Nachteil, dass eine zielführende Performanz nur mit ausreichend hohem Prädiktionshorizont und einer Modelladaption zur Laufzeit (Systemidentifikation) erzielt werden kann. Dieses führt zu einem hohem Berechnungsaufwand zur Laufzeit, was die Verbreitung von MPC-Ansätzen aufgrund eines Regelungstakts im Mikrosekunden-Bereich oftmals hemmt. Das RL arbeitet demgegenüber auf einen infiniten Horizont und benötigt prinzipbedingt kein Systemmodell, da eine optimale Regelstrategie explizit und datengetrieben abgeleitet wird. Aufgrund bisher fehlender Untersuchungen in der Domäne der elektrischen Antriebstechnik bestehen beim RL-Einsatz zahlreiche ungelöste Herausforderungen, u. a. die etablierung eines sicheren und effizienten Lernens sowie die gezielte Einbindung von verfügbarem Expertenwissen zur Unterstützung des datengetriebenen Lernprozesses. Dieses Projekt soll daher zur Bewertung von RL zur Regelung von elektrischen Antrieben beitragen.

• DFG-Verfahren: Sachbeihilfen