Parallele Komplexe Ereignisverarbeitung zur probabilistischen Einhaltung von Latenzschranken II

• Antragstellerinnen / Antragsteller: Professorin Dr. Sukanya Bhowmik; Professor Dr. Kurt Rothermel
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung von 2015 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 268797282

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Bei der Verarbeitung komplexer Ereignisse (Complex Event Processing, kurz CEP) werden kontinuierliche Anfragen verwendet, um bestimmte Muster in Strömen primitiver Ereignisse zu erkennen. Die rechtzeitige Erkennung von Mustern ist in vielen Anwendungsbereichen wie dem Online- Aktienhandel, der Überwachung und der Verkehrssteuerung von größter Bedeutung. In der Literatur finden sich zahlreiche Arbeiten, die CEP mit niedriger Latenzzeit zum Gegenstand haben, allerdings unter der Annahme, dass unbegrenzte Ressourcen zur Verfügung stehen. Die meisten dieser Arbeiten reduzieren die Latenz, indem sie den Grad der Parallelität erhöhen, d. h. dynamisch zusätzliche CPU-Ressourcen zur Ausführung der CEP-Operator zuweisen. Es gibt jedoch auch Situationen, in denen das finanzielle Budget für den Betrieb eines CEP-Systems und/oder die insgesamt verfügbaren CPU-Ressourcen begrenzt sind, wie etwa bei einer CEP-Implementierung auf sogenannten Edge- Knoten im Internet of Things aus Gründen des Datenschutzes oder der Latenz. In einem System mit begrenzten CPU-Ressourcen ist eine Möglichkeit, die eingehende Last eines CEP-Operators zu reduzieren, also die Durchführung von Lastabwürfen (engl. load shedding). Der offensichtliche Nachteil von Lastabwürfen ist eine mögliche Reduzierung der Ergebnisqualität (engl. Quality of Result, kurz QoR). Daher war das übergeordnete Ziel von Precept II die Entwicklung von Lastabwurfmethoden, die eine bestimmte Latenzgrenze für eine CEP-Anwendung gewährleisten und gleichzeitig die von der Anwendung wahrgenommene QoR maximieren. Zwar gibt es bereits zahlreiche Arbeiten zum Thema Lastabwurf in Stream-Processing-Systemen, doch sind wir unseres Wissens nach unter den ersten, die eine detaillierte Untersuchung dieses Problems im CEP-Bereich durchgeführt haben. Im Rahmen dieses Projektes wurden fünf alternative Lastabwurfansätze entwickelt, die in Überlastsituation die Last eines einzelnen CEP-Operators so verringern, dass die Ausführung des Operators innerhalb einer gegebenen Latenzschranke erfolgen kann. Die entwickelten Lastabwurfansätze sind leichtgewichtig und decken ein breites Spektrum von Lastabwurfklassen im CEP-Bereich ab. Insbesondere schlagen wir zwei Black-Box-Ansätze zum Abwerfen von Ereignissen aus eingehenden Ereignisströmen und zwei White-Box-Ansätze zum Abwerfen von Ereignissen sowie internen Operatorzuständen vor. Darüber hinaus entwickeln wir eine Lastabwurfmethode für Echtzeit-Videoanalyse- Operatoren. Schließlich schlagen wir eine Lastabwurf-Technik für eine CEP-Anwendung mit mehreren CEP-Operatoren vor, bei der wir die Vorteile einer globalen Betrachtung des gesamten Operatornetzwerks aufzeigen, um den QoR unserer lokalen Abwurf-Ansätze weiter zu verbessern.

Projektbezogene Publikationen (Auswahl)

• A Comprehensive Survey on Parallelization and Elasticity in Stream Processing. ACM Computing Surveys, 52(2), 1-37.
  Röger, Henriette & Mayer, Ruben
  
• Combining it all: Cost minimal and low-latency stream processing across distributed heterogeneous infrastructures. In Proc. of the 20th International Middleware Conference. ACM, 2019
  Henriette Röger; Sukanya Bhowmik & Kurt Rothermel
  
• eSPICE. Proceedings of the 20th International Middleware Conference.
  Slo, Ahmad; Bhowmik, Sukanya & Rothermel, Kurt
  
• pSPICE: Partial Match Shedding for Complex Event Processing. 2019 IEEE International Conference on Big Data (Big Data).
  Slo, Ahmad; Bhowmik, Sukanya; Flaig, Albert & Rothermel, Kurt
  
• hSPICE. Proceedings of the 14th ACM International Conference on Distributed and Event-based Systems, 109-120.
  Slo, Ahmad; Bhowmik, Sukanya & Rothermel, Kurt
  
• A Framework for Decentralized Parallel Complex Event Processing on Heterogeneous Infrastructures. 2021 IEEE International Conference on Big Data (Big Data), 190-196.
  Roger, Henriette; Bhowmik, Sukanya & Linn, Tobias
  
• Load shedding in window-based complex event processing. PhD thesis, University of Stuttgart, Germany, 2022
  Ahmad Slo
  
• State-Aware Load Shedding From Input Event Streams in Complex Event Processing. IEEE Transactions on Big Data, 8(5), 1340-1357.
  Slo, Ahmad; Bhowmik, Sukanya & Rothermel, Kurt
  
• Grand perspective: Load shedding in distributed cep applications. CoRR, abs/2309.17183, 2023
  Henriette Röger; Sukanya Bhowmik & Kurt Rothermel
  
• gSPICE: Model-Based Event Shedding in Complex Event Processing. 2023 IEEE International Conference on Big Data (BigData), 263-270.
  Slo, Ahmad; Bhowmik, Sukanya & Rothermel, Kurt
  
• Utility-aware load shedding for real-time video analytics at the edge. CoRR, abs/2307.02409, 2023
  Enrique Saurez; Harshit Gupta; Henriette Röger; Sukanya Bhowmik; Umakishore Ramachandran & Kurt Rothermel