Sequential Monitoring of the Location and Covariance Behaviour of High-Dimensional Time Series

• Applicant: Professor Dr. Wolfgang Schmid
• Subject Area: Statistics and Econometrics
• Term: from 2019 to 2023
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 428472210

• Final Report Year: 2024

Final Report Abstract

Das Ziel von Industrie 4.0 ist die umfassende Digitalisierung der industriellen Produktion. Zu diesem Zweck wurden vollkommen neue Technologien zur Überwachung eines Produktionsprozesses eingeführt wie z.B. Sensoren, Bilder und Videos. Diese Entwicklung hat die Statistische Prozesskontrolle vor vollkommen neue Aufgaben gestellt und sie hat das Gebiet in neue Richtungen gepuscht. Der Umfang der erhobenen Datenmenge hat sich drastisch erhöht. Während man früher in der multivariaten Prozesskontrolle Merkmalsvektoren analysierte, deren Dimension vorwiegend zwischen 2 und 5 lag, können nun Dimensionen auftreten, die in die Hunderte gehen. Eine ähnliche Situation findet man auch bei der Portfolioanalyse vor. Die Anzahl der Aktien in einem Portfolio überschreitet in vielen Fällen den Wert 20 und kann sogar uber 1000 liegen, wenn man an Portfolios denkt, die sich wiederum aus Portfolios zusammensetzen. Das Ziel des Projekts bestand darin sequenzielle Verfahren zur Überwachung derartiger Prozesse einzuführen und zu analysieren. Diese Prozesse können sowohl eine zeitliche als auch eine räumliche Abhängigkeitsstruktur aufweisen. Der Analyse liegen mittel- bis hochdimensionale Zeitreihen zugrunde. Der Schwerpunkt des Projekts lag auf der Überwachung des Lageverhaltens und der Analyse von Kontrollkarten basierend auf einer mehrdimensionalen exponentiellen Glättung (EWMA-exponentially weighted moving average). Zuerst stellt sich natürlich die Frage, inwieweit die bekannten Verfahren der multivariaten statistischen Prozesskontrolle auch in einem hochdimensionalen Umfeld angewendet werden können bzw. wie und ob man sie geeignet modifizieren kann. In Bodnar, Bodnar und Schmid (2023) wurde zunächst das Verhalten der von Kramer und Schmid (1997) eingeführten EWMA-Kontrollkarte für das Lageverhalten von Zeitreihen im hochdimensionalen Fall analysiert. Dabei handelt es sich um eine Verallgemeinerung der außerst populären Kontrollkarte von Roberts (1959) auf den Fall zeitabhängiger Prozesse. Es wurde das asymptotische Verhalten dieser Kontrollstatistik untersucht, falls die Anzahl der zu überwachenden Lageparameter gegen unendlich strebt. Dieses Verhalten wurde auch mit dem Verhalten für große Stichprobenanzahl verglichen. Im Prinzip ist es damit möglich Empfehlungen zu geben, wie die EWMA-Statistik geeignet normiert werden muss. Der Nachteil dieser Kontrollkarte besteht darin, dass zu ihrer Berechnung eine hochdimensionale inverse Kovarianzmatrix bestimmt werden muss. Dies kann erhebliche technische Probleme bereiten, weshalb in dieser Publikation auch Kontrollkarten basierend auf anderen Abstandsmaßen diskutiert wurden. Insgesamt wurden 10 Kontrollverfahren sowohl analytisch als auch mittels Simulationsstudien eingehend analysiert. In Bodnar, Bodnar und Schmid (2024) wurden die Parameter des unterstellten Zielprozesses als bekannt angenommen. Dies ist in der Praxis natürlich nicht der Fall und sie müssen geschätzt werden. In einer weiteren Publikation wurde der Einfluss der Parameterschätzung auf die Verteilung der Kontrollstatistik untersucht. Es wurden unterschiedliche Schätzmethoden für die Parameter diskutiert und im Rahmen einer umfangreichen Simulationsstudie wurden die zugehörigen Kontrollverfahren miteinander verglichen. Typische hochdimensionale Prozessstrukturen sind digitale Bildprozesse. Heutzutage bestehen digitale Bilder aus Millionen von Pixeln. Die direkte Analyse des Pixelprozesses ist auf Grund dieser enormen Dimension nicht möglich, sondern es sind Methoden zur Dimensionsreduzierung erforderlich. Um die räumliche Struktur nicht zu verlieren, eignet sich hierfür insbesondere der Ansatz über "regions of interest“. Dabei wird das Gesamtbild in Teilbilder zerlegt (ca 100-500) und es werden Charakteristiken dieser Teilbilder überwacht. Im Rahmen des Projekts sind einige Arbeiten hierzu veröffentlicht worden, die auf den Beiträgen von Bodnar, Bodnar und Schmid basieren. Dabei unterscheidet man zwischen zeitunabhängigen Bildprozessen und zeitabhängigen Bildprozessen. Ferner wurde ebenfalls auf das Monitoring von farbigen Bildprozessen in unterschiedlichen Farbräumen eingegangen. Zur Klassifizierung des Bildzustands wurde auch auf neuere Klassifikationsmethoden aus dem Umfeld des Maschinellen Lernens eingegangen.

Publications

• Monitoring Image Processes: Overview and Comparison Study. Frontiers in Statistical Quality Control 13, 143-163. Springer International Publishing.
  Okhrin, Yarema; Schmid, Wolfgang & Semeniuk, Ivan
  
• New Approaches for Monitoring Image Data. IEEE Transactions on Image Processing, 30, 921-933.
  Okhrin, Yarema; Schmid, Wolfgang & Semeniuk, Ivan
  
• Sequential monitoring of high‐dimensional time series. Scandinavian Journal of Statistics, 50(3), 962-992.
  Bodnar, Rostyslav; Bodnar, Taras & Schmid, Wolfgang
  
• A control chart for monitoring image processes based on convolutional neural networks. Statistica Neerlandica, 79(1).
  Okhrin, Yarema; Schmid, Wolfgang & Semeniuk, Ivan
  
• Control charts for high-dimensional time series with estimated in-control parameters. Sequential Analysis, 43(1), 103-129.
  Bodnar, Rostyslav; Bodnar, Taras & Schmid, Wolfgang
  
• Monitoring time dependent image processes for detecting shifts in pixel intensities. Computational Statistics, 40(9), 5225-5256.
  Okhrin, Yarema; Petruk, Viktoriia & Schmid, Wolfgang