Hybrid OLTP/OLAP Main Memory Database System Based on Virtual Memory Snapshots

• Antragsteller: Professor Dr. Thomas Neumann
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung von 2011 bis 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 194871756

In der ersten Phase dieses Projekts wurde ein hybrides Hauptspeicher-Datenbanksystem für OLTP- und OLAP-Anwendungen entwickelt. Die Schlüsselidee besteht darin, die extrem effiziente Betriebssystem/Prozessor-Unterstützung der virtuellen Speicherverwaltung für die Abspaltung von konsistenten "Snapshots" der Datenbank zu nutzen, um OLAP-Anfragen von den OLTP-Transaktionen operational zu trennen -- aber dennoch auf denselben Datenbestand zuzugreifen. Basierend auf der zu Projektbeginn existierenden Prototyp-Implementierung namens HyPer, mit der die Machbarkeit und Performanz der hybriden OLTP&OLAP Datenbankarchitektur bewiesen wurde, haben wir in der Zwischenzeit ein vollständiges Datenbanksystem entwickelt. Die zahlreichen Publikationen in den international renommiertesten Datenbank-Fachtagungen (SIGMOD, ICDE, CIDR, VLDB) belegen, dass HyPer eines der international am meisten beachteten akademischen Datenbankprojekte ist. Dies wird insbesondere auch durch den Best Paper Award auf der ICDE 2014 Konferenz und die Auszeichnung des Antragsteller T. Neumann mit dem renommierten VLDB Early Career Award 2014 für die Entwicklung der HyPer Datenbank-Engine belegt. In der Verlängerungsphase des Projekts wollen wir schwerpunktmäßigfolgende Themen bearbeiten: 1) Weitergehende Optimimierung der (online) Transaktionsverarbeitung durch die versionierte Mehrbenutzersynchronisation (multi-version concurrency control, MVCC) sowie die Verbesserung der Mehrbenutzersynchronisation unserer Indexstruktur ART.2) Die Funktionalität der entscheidungsunterstützenden Anfragesprache soll durch Fensterfunktionen (window functions) erweitert werden. Die hochparallele Auswertung der fenster-basierten Gruppierung und Aggregation steht dabei im Vordergrund, um die aggregierte Rechenleistung heutiger multi-core Server effektiv ausnutzen zu können.3) Zukünftige Rechner werden heterogene Komponenten (GPUs, energiesparende CPUs, hoch-performante CPUs, etc) aufweisen. Für die energieeffiziente Datenbankbearbeitung soll ein Scheduler entwickelt werden, der die jeweils günstigste Allokation der Aufgaben (tasks) auf die verfügbare Hardware berechnet. Dabei muss Performanz und Energieeffizienz gegeneinander abgewogen werden. 4) Die Harware-Hersteller (Intel, HP, etc.) arbeiten intensiv an der Entwicklung nicht-flüchtiger Hauptspeicher. Diese neuen Speichertechnologien werden speziell für die Hauptspeicher-Datenbanksysteme wie HyPer eine wichtige Rolle spielen, um die Recoveryzeiten (fail-over) deutlich zu reduzieren und dadurch die Verfügbarkeit zu optimieren. Jedes dieser Themen ist als Kern einer Doktorarbeit geeignet. Die existierende HyPer-Implementierung wird als experimentelle und Integrations-Plattform für alle Ent\-wicklungsarbeiten genutzt, um die Relevanz der entwickelten Methoden zu validieren.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Alfons Kemper, Ph.D.