Energieeffiziente Verarbeitung in Datenbanksystemen
Final Report Abstract
Das Forschungsprojekt wollte zeigen, wie Datenbanksysteme als Kernkomponenten in einer großen Zahl von Anwendungssystemen (mit teilweise dramatisch wachsenden Datenvolumina) zur Optimierung des gesamten Energieverbrauchs von Rechnern beitragen können. In diesem Projekt wurden zunächst der Einsatz von Flash-Speicher (SSDs) bei DB-Anwendungen und seine Integration, seine Möglichkeiten zur Energieeinsparung und seine optimierte Nutzung in einer DB-Architektur sehr gründlich untersucht. Dabei war die Reduktion der Ein- /Ausgabe, vor allem von Schreibvorgängen, enorm wichtig, so dass vorallem neuartige Algorithmen bei der DB-Pufferverwaltung und für die Middleware entwickelt wurden. Bezogen auf das Gesamtsystem war dadurch die Steigerung der Energieeffizienz begrenzt. Deshalb war es zur Ausschöpfung des gesamten Energiesparpotenzials erforderlich, nicht nur die E/A-Architektur bei der Entwicklung von Maßnahmen und Lösungen zu berücksichtigen, sondern eine gesamtheitliche Sicht auf das Datenbanksystem einzunehmen. Dabei spielte als Zielvorgabe ein energieproportionales Verhalten des Gesamtsystems eine zentrale Rolle. Ein solches Verhalten ist jedoch mit einem Rechnerknoten nicht zu erreichen, da bestimmte Rechnerkomponenten einen lastunabhängigen und mit der Größe linear wachsenden Energiebedarf besitzen. Deshalb entwickelten wir WattDB, um ein energieproportionale Verhalten bei DB-Anwendungen durch eine dynamisch wachsende und schrumpfende Cluster-Architektur anzunähern. Durch standardisierte OLAP- und OLTP-Benchmarks konnten wir zeigen, wie gut sich unsere Zielvorstellung durch ein dynamisches Cluster von energiearmen Rechnerknoten, basierend auf einer Shared-Nothing-Architektur in Kombination mit einer Shared-Disk-E/A-Architektur, erreichen lässt. Durch einen empirischen Vergleich von WattDB mit einem leistungsstarken DB-Server konnte schließlich der Anwendungsbereich eingegrenzt werden, für den das dynamische Cluster im Vergleich zu zentralisierten Lösungen eine wesentlich bessere Energieeffizienz bei akzeptablem Leistungsverhalten verspricht.
Publications
- CFDC – A Flash-aware Replacement Policy for Database Buffer Management In: Proc. SIGMOD Workshop "Data Management on New Hardware (DaMoN)", Providence, US, June 2009
Yi Ou, Theo Härder and Peiquan Jin
- Theo Härder, Karsten Schmidt, Yi Ou and Sebastian Bächle: Towards Flash Disk Use in Databases – Keeping Performance While Saving Energy? In: Proc. 13. GI-Fachtagung Datenbanksysteme für Business, Technologie und Web (BTW 2009), LNI P-144, Münster, Germany, pp. 167-186, March 2009
Theo Härder, Karsten Schmidt, Yi Ou and Sebastian Bächle
- CFDC: A Flash-Aware Buffer Management Algorithm for Database Systems. In: Proc. ADBIS 2010, LNCS 6295, Novi Sad, Serbia, pp. 435-449, Springer, September 2010
Yi Ou, Theo Härder and Peiquan Jin
- Performance and Power Evaluation of Flash-Aware Buffer Algorithms. In: Proc. DEXA 2010, LNCS 6261, Bilbao, Spain, pp. 183-197, August 2010
Yi Ou, Theo Härder and Daniel Schall
- The SIGMOD 2010 Programming Contest – A Distributed Query Engine. SIGMOD Record, 39(2), pp. 61-64, June 2010
Clement Genzmer, Volker Hudlet, Hyunjung Park, Daniel Schall and Pierre Senellart
- Energy Efficiency is not Enough, Energy Proportionality is Needed! (invited lecture). In: Proc. DASFAA'11, 1st Int. Workshop on FlashDB, LNCS 6637, pp. 226-239, Springer, April 2011
Theo Härder, Volker Hudlet, Yi Ou and Daniel Schall
- WattDB – An Energy-proportional DBMS. In: Proc. Sustainable Energy Efficient Data Management Workshop, Washington D.C., May 2011
Volker Höfner and Daniel Schall
- WattDB: An Energy-Proportional Cluster of Wimpy Nodes. In: Proc. SIG-MOD 2011 Conference, pp. 1229-1232, June 2011
Daniel Schall and Volker Hudlet
- AD-LRU: An Efficient Buffer Replacement Algorithm for Flash-Based Databases. Data & Knowledge Engineering 72: 83-102, Elsevier, January 2012
Peiquan Jin, Yi Ou, Theo Härder and Zhi Li
(See online at https://doi.org/10.1016/j.datak.2011.09.007) - Towards an Efficient Flash-Based Mid-Tier Cache. In: Proc. DEXA 2012, pp. 55-70, Springer, September 2012
Yi Ou, Jianliang Xu and Theo Härder
- Towards an Enhanced Benchmark Advocating Energy-Efficient Systems. In: Proc. TPCTC 2011, LNCS 7144, pp. 31-45, Springer, August 2012
Daniel Schall, Volker Höfner and Manuel Kern
- Energy-proportional Query Execution using a Cluster of Wimpy Nodes. In: Proc. SIGMOD Workshop "Data Management on New Hardware (DaMoN)", June 2013
Daniel Schall and Theo Härder
- Towards an Energy-Proportional Storage System using a Cluster of Wimpy Nodes. In: Proc. 15. GI-Fachtagung Datenbanksysteme für Business, Technologie und Web (BTW 2013), LNI 214, pp. 311-326, March 2013
Daniel Schall and Theo Härder
- Approximating an Energy-Proportional DBMS by a Dynamic Cluster of Nodes. In: Proc. DASFAA Conf., LNCS 8421, Bali, Indonesia, pp. 297-311, April 2014
Daniel Schall and Theo Härder
(See online at https://doi.org/10.1007/978-3-319-05810-8_20) - Flash-Aware Buffer Management for Database Systems. Int. Journal of Knowledge-Based Organizations (IJKBO), 3(4), pp. 22-39, April 2014
Yi Ou, Peiquan Jin and Theo Härder
(See online at https://doi.org/10.4018/ijkbo.2013100102) - WattDB – A Journey towards Energy Efficiency. Datenbank-Spektrum, 14(3), pp. 183-198, Springer, November 2014
Daniel Schall and Theo Härder
(See online at https://doi.org/10.1007/s13222-014-0168-8) - Dynamic Physiological Partitioning on a Shared-nothing Database Cluster. In: Proc. Int. Conf. on Data Engineering (ICDE), Seoul, Korea, pp. 1095-1106, April 2015
Daniel Schall and Theo Härder
(See online at https://doi.org/10.1109/ICDE.2015.7113359) - Energy and Performance – Can a Wimpy-Node Cluster Challenge a Brawny Server? In: Proc. 16. GI-Fachtagung Datenbanksysteme für Business, Technologie und Web (BTW 2015), LNI 241, Hamburg, pp. 197-216, March 2015
Daniel Schall and Theo Härder
