Detailseite
Projekt
Adaptive Anfragekompilierung für Datenstromsysteme
Antragsteller
Professor Dr. Volker Markl; Steffen Zeuch, Ph.D.
Fachliche Zuordnung
Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Förderung
Förderung seit 2020
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 447268056
Die Verarbeitung von Echtzeitdatenströmen ermöglicht die kontinuierliche Analyse von großer Datenmengen, um schnellstmöglich auf bestimmte Ereignisse reagieren zu können. In den letzten Jahren ist diese Art der Datenverarbeitung zu einer Kerntechnologie in vielen modernen Datenverarbeitungsanwendungen geworden und ermöglicht zum Beispiel das Analysieren von Besucherströmen auf Webseiten oder die Überwachung von Maschinen im Bereich Industrie 4.0. Für diese Anwendungsfälle wurden in den letzten Jahren eine Vielzahl von Datenstromverarbeitungssystemen entwickelt (unter anderem Flink und Spark). Jedoch zeigt aktuelle Forschung, dass diese Systeme die Ressourcen von modernen Rechnern nur sehr ineffizient ausnutzen. Dies ist hauptsächlich bedingt durch die folgen drei Aspekte. Erstens werden die individuellen Hardwareeigenschaften nur unzureichend für Optimierungen in Betracht gezogen. Zweitens variieren die Dateieigenschaften über die Laufzeit einer Verarbeitungsanwendung häufig stark, was die Effizienz von einzelnen Operationen beeinflussen kann. Drittens kombinieren Verarbeitungsprogramme oft grundlegend verschiedene Datenverarbeitungsoperationen aus verschieden Programmiersprachen sehr ineffizient und verursachen so einen hohen Aufwand für Datentransfer. In diesem Projekt erforschen wir neuartige Ansätze zur Verarbeitung von Datenströmen, um effizient die Ressourcen moderner Rechner ausnutzen zu können. Zum Erreichen dieses Ziels, entwickeln wir ein neuartiges Datenstromverarbeitungssystem, welches den folgenden drei Entwurfsprinzipien folgt. Erstens nutzen wir Codegenerierung als grundlegende Technologie, um die zur Verfügung stehende Hardware-Ressourcen effizient ausnutzen zu können. Zweitens entwickeln wir eine abstrakte zwischen Repräsentation welche es unserem System ermöglicht, verschiedene Anfragesprachen und Paradigmen gesamtheitlich zu verarbeiten und zu optimieren. Drittens legen wir Adaptivität als grundsätzliches Paradigma zugrunde, sodass unser System automatisch auf verändernde Dateneigenschaften reagieren kann.
DFG-Verfahren
Schwerpunktprogramme
