Selbstoptimierende dezentrale Fertigungssteuerung
Zusammenfassung der Projektergebnisse
Mit den Ergebnissen dieses Projekts konnten die großen Potenziale einer einerseits dezentralen und damit lokal begrenzten sowie andererseits einer durch das bestärkende Lernen erfahrungsbasiert optimierten Fertigungssteuerung gezeigt werden. Auf diese Weise kann die Komplexität der Entscheidungsoptimierung in modernen Fertigungssystemen erheblich verringert werden. Gleichzeitig werden die technologischen Potenziale einer zunehmenden Digitalisierung, Vernetzung und Verfügbarkeit dezentraler Rechenkapazitäten ausgenutzt. Um in diesem Kontext den Algorithmus des Deep Q-Learning sowohl dezentral für die Entscheidungsfindung als auch zentral für die Optimierung unter Berücksichtigung globaler Fertigungskennzahlen effizient anwenden zu können, wurde entgegen des ursprünglichen Algorithmus die Entscheidungsfindung örtlich und zeitlich von der Optimierung entkoppelt. Hierzu wurde im Sinne eines cyber-physischen Produktionssystems eine Architektur für ein Multiagentensystem entwickelt, durch das eine vollständig dezentrale Datenerfassung und -verwaltung sowie eine Kommunikation zwischen den Agenten ermöglicht wird. Diese Agenten repräsentieren die Aufträge und Maschinen innerhalb des jeweiligen Fertigungssystems und bilden funktionell die Teilaufgaben Verfügbarkeitsprüfung, Arbeitsverteilung und Reihenfolgebildung innerhalb der Fertigungssteuerung ab. Ergänzend wurde ein Administrationsagent eingeführt, der die Schnittstelle zu allen peripheren Systemen (ERP, Simulationsmodell) abbildet. Als zweite wesentliche Teilmethode wurde ein zentrales DQN-Modul konzeptioniert. In diesem werden die durch die Auftrags- und Maschinenagenten erzeugten Erfahrungsdaten in einer globalen Datenbank verwaltet und für die Optimierung verwendet. Dabei wird ein neuronales Netz kontinuierlich mit den unter Verwendung von zentralen, leistungsfähigen Rechenkapazitäten optimierten Netzwerkparametern aktualisiert. Dieses neuronale Netz wird zentral abgelegt und kann bei der Initialisierung von den dezentralen Agenten abgerufen und für eine echtzeitfähige Entscheidungsfindung eingebunden werden. Dadurch konnte eine relative Lieferterminabweichung zwischen etwa -10 bis 0 % konstant erreicht werden. Ergänzend wurde eine Bewertungssystematik entwickelt, die sowohl den lokalen Systemzustand als auch globale Fertigungskennzahlen als Bewertungsgrundlage berücksichtigt.
Projektbezogene Publikationen (Auswahl)
-
A deep q-learning-based optimization of the inventory control in a linear process chain. Production Engineering, 15(1), 35-43.
Dittrich, M.-A. & Fohlmeister, S.
-
Cooperative multi-agent system for production control using reinforcement learning. CIRP Annals, 69(1), 389-392.
Dittrich, Marc-André & Fohlmeister, Silas
-
Dezentrale Produktionssteuerung in der Werkstattfertigung. VDI-Z, 162(05-06), 63-65.
Denkena, Berend; Dittrich, Marc-André; Keunecke, Lars & Fohlmeister, Silas
-
fms_marl - Scalable cooperative Multi- Agent-Reinforcement-Learning for order-controlled on schedule manufacturing in flexible manufacturing systems
Fohlmeister, S.; Palmer, G. & Kemp, D.
-
Selbstoptimierende Reihenfolgebildung in der Fertigung/Intelligent order sequencing in manufacturing. wt Werkstattstechnik online, 111(04), 212-216.
Fohlmeister, Silas; Denkena, Berend & Dittrich, André
