GraphQueryML: Query-Optimierung in Graphdatenbanken unter Verwendung von Machine Learning.
Zusammenfassung der Projektergebnisse
Ziel dieses Projekts war es, den Stand der Technik in der gelernten Abfrageoptimierung zu erweitern, um die Anwendung von maschinellem Lernen auf Abfrageoptimierung in Graphdatenbanksystemen zu ermöglichen. Abfrageoptimierung ist immer noch eines der wichtigsten offenen Probleme der Datenbankforschung. Da relationale Datenbankabfragen immer komplexer werden und Graphdatenbanksysteme an Bedeutung gewinnen, sind viele Ansätze entstanden, die maschinelles Lernen zur Optimierung von Anfragen einsetzen. Konzeptionell können diese Ansätze in drei Gruppen eingeteilt werden. Die erste Gruppe von Ansätzen verwendet maschinelles Lernen, um die Ergebniskardinalitäten einer Abfrage und ihrer Unterabfragen zu schätzen. Diese Schätzungen werden dann in einen traditionellen Abfrageoptimierer eingespeist. Die zweite Gruppe von Ansätzen lernt, gute Ausführungspläne direkt vorherzusagen und ersetzt so den traditionellen Optimierer. Die Ansätze der dritten Gruppe schließlich operieren vollständig außerhalb des traditionellen Optimierers, indem sie Hinweise vorschlagen, die den Optimierer auf einen effizienten Plan lenken. Im Projekt haben wir hauptsächlich zur ersten Gruppe von Ansätzen beigetragen, d.h. zur erlernten Kardinalitätsschätzung. Bevor wir uns den Graphdatenbanksystemen widmeten, führten wir zunächst mehrere Teilprojekte im Umfeld relationaler Datenbanksysteme durch, die immer noch weiter verbreitet sind und für die standardisierte Benchmarks zur Validierung der Beiträge leichter verfügbar sind. Wir haben festgestellt, dass die meisten modernen Verfahren zur erlernten Kardinalitätsschätzung eine unrealistisch große Menge an Trainingsdaten erfordern, und haben untersucht, wie geometrisches Lernen angewendet werden kann, um einen effizienteren erlernten Kardinalitätsschätzer zu erhalten. Als Vorläufer für reguläre Pfadabfragen in Graphdatenbanksystemen untersuchten wir das verwandte Problem der Kardinalitätsschätzung für LIKE-Prädikate in SQL. Wir haben ein neues Schätzverfahren auf der Grundlage eines Sprachmodells entwickelt, das die Genauigkeit bestehender Techniken deutlich übertrifft. In Bezug auf Graphdatenbanksysteme untersuchten wir, wie sequenzbasiertes Lernen auf die Kardinalitätsschätzung für Pfadabfragen angewandt werden kann, und schlugen eine neue Technik vor, die einen geringeren Q-Error aufweist als aktuelle Techniken. Schließlich wurde im Rahmen des Projekts auch der Einsatz von Quantencomputern für die Kardinalitätsschätzung untersucht und ein Ansatz für ein neuronales Quantennetzwerk zur Schätzung der Kardinalität von Join-Abfragen vorgeschlagen. Neben diesen Beiträgen zur ersten Gruppe der erlernten Abfrageoptimierungstechniken entstand im Projekt auch ein neues End-to-End-Benchmark zur Validierung von Ansätzen aus der zweiten und dritten Gruppe. Alle Beiträge dieses Projekts haben zu Publikationen geführt, die auf den wichtigsten A*- Konferenzen der Forschungsgemeinschaft für Datenbanksysteme veröffentlicht wurden.
Projektbezogene Publikationen (Auswahl)
-
Sample-Efficient Cardinality Estimation Using Geometric Deep Learning. Proceedings of the VLDB Endowment, 17(4), 740-752.
Reiner, Silvan & Grossniklaus, Michael
-
Is Your Learned Query Optimizer Behaving As You Expect? A Machine Learning Perspective. Proceedings of the VLDB Endowment, 17(7), 1565-1577.
Lehmann, Claude; Sulimov, Pavel & Stockinger, Kurt
-
LPLM: A Neural Language Model for Cardinality Estimation of LIKE-Queries. Proceedings of the ACM on Management of Data, 2(1), 1-25.
Aytimur, Mehmet; Reiner, Silvan; Wörteler, Leonard; Chondrogiannis, Theodoros & Grossniklaus, Michael
-
QardEst: Using Quantum Machine Learning for Cardinality Estimation of Join Queries. Workshop on Quantum Computing and Quantum-Inspired Technology for Data-Intensive Systems and Applications, 2-13. ACM.
Kittelmann, Florian; Sulimov, Pavel & Stockinger, Kurt
-
GenJoin: Conditional Generative Plan-to-Plan Query Optimizer that Learns from Subplan Hints. Proceedings of the ACM on Management of Data, 3(4), 1-25.
Sulimov, Pavel; Lehmann, Claude & Stockinger, Kurt
-
SPACE: Cardinality Estimation for Path Queries Using Cardinality-Aware Sequence-based Learning. Proceedings of the ACM on Management of Data, 3(3), 1-26.
Aytimur, Mehmet; Chondrogiannis, Theodoros & Grossniklaus, Michael
