Scalable, recursively configurable, massively-parallel FEM-multigrid solvers for heterogeneous hardware architectures -- Design, analysis and realisation in FEAST with applications in fluid mechanics

• Applicants: Professor Dr. Dominik Göddeke; Professor Dr. Stefan Turek
• Subject Area: Mathematics
• Term: from 2013 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 243173035

• Final Report Year: 2018

Final Report Abstract

In diesem Gemeinschaftsantrag wurden numerische Methoden für parallele Mehrgitterverfahren für Finite Elemente Diskretisierungen untersucht und in der Open-Source Software FEAT (Version v3) realisiert. Ein besonderer Schwerpunkt lag hierbei auf Techniken, die Robustheit und Skalierbarkeit auf modernen heterogenen Rechnerarchitekturen erlauben, d.h. insbesondere auf hybriden Systemen aus konventionellen oder stark auf Energieeffizienz ausgerichteten „Standard“ Prozessoren kombiniert mit Gleitkomma-Durchsatz-optimierten Beschleunigertechnologien wie Grafikprozessoren (GPUs). Das Ziel der gleichmäßigen Skalierbarkeit umfasste die numerische Skalierbarkeit, die Minimierung sequentieller Komponenten auf allen Parallelitatsebenen hybrider Systeme, die gleichmäßige Auslastung aller Rechenressourcen und die numerisch stabile und robuste asynchrone und fehlertolerante parallele Ausführung. Darüber hinaus wurden neue numerische Methoden simultan mit passenden Implementierungstechniken entwickelt und analysiert (Hardware-orientierte Numerik), um für ein breites Anwendungsfeld vor allem innerhalb der Strömungsmechanik (als Nachfolgerversion von FEATFLOW) gleichermaßen numerisch als auch Hardware-effiziente Diskretisierungs- und Lösungsverfahren bereitzustellen. Die gemeinsamen Arbeiten flossen vor allem in die neue Version (v3) der FEAT Software ein, die innerhalb des Projektes in den letzten Jahren intensiv weiterentwickelt werden konnte, so dass zum Projektabschluss eine numerisch robuste, skalierbare und rekursiv konfigurierbare Methodik für parallele Mehrgitterverfahren auf heterogenen Rechnerarchitekturen in einer neuen Open Source FEM Software realisiert und analysiert werden konnte.

Publications

• Porting FEASTFLOW to the Intel Xeon Phi – Lessons Learned. Partnership for Advanced Computing in Europe (PRACE), 139, 2014
  Venetis, I.; Goumas, G.; Geveler, M.; Ribbrock, D.
  
• Restricted Elementwise Projection for the Finite Element Method. Ergebnisberichte des Instituts für Angewandte Mathematik, TU Dortmund, 490, 2014
  Zajac, P.
  
• Swimming by reciprocal motion at low Reynolds number. Nature Communications, 11, 5, 2014
  Qiu, T. and Lee, T.-C. and Mark, A. and Morozov, K. and Münster, R. and Mierka, O. and Turek, S. and Leshansky, A. and Fischer, P.
  (See online at https://doi.org/10.1038/ncomms6119)
• Fault-tolerant finite-element multigrid algorithms with hierarchically compressed asynchronous checkpointing. Parallel Computing, 49:117–135
  Göddeke, D.; Altenbernd, M.; Ribbrock, D.
  (See online at https://doi.org/10.1016/j.parco.2015.07.003)
• FFF2: Future-proof High Performance Numerical Simulation for CFD with FEASTFLOW (2). Ergebnisberichte des Instituts für Angewandte Mathematik, TU Dortmund, 512, 2015
  Geveler, M.; Ribbrock, D.
  
• Energy efficiency of the simulation of three-dimensional coastal ocean circulation on modern commodity and mobile processors-A case study based on the Haswell and Cortex-A15 microarchitectures. LNCS, ISC’16, Computer Science-Research and Development, 1-10, Workshop on Energy-Aware HPC, Springer
  Geveler, M.; Reuter, B.; Aizinger, V.; Göddeke, D.; Turek, S.
  (See online at https://dx.doi.org/10.1007/s00450-016-0324-5)
• LNCS, Euro-Par’16: Parallel Processing Workshops: Euro-Par 2016 International Workshops, Grenoble, France, August 24-26, 2016, Revised Selected Papers, 737-749, Workshop on Unconventional HPC, Springer
  Geveler, M.; Ribbrock, D.; Donner, D.; Ruelmann, H.; Höppke, C.; Schneider, D.; Tomaschewski, D.; Turek, S.: The ICARUS white paper: A scalable, energy-efficient, solar-powered HPC center based on low power GPUs. Desprez, F., Dutot, P., Kaklamanis, C., Marchal, L., Molitorisz, K., Ricci, L., Scarano, V., Vega-Rodriguez, M., Varbanescu, A., Hunold, S., Scott, S., Lankes, S., Weidendorfer, J.
  (See online at https://dx.doi.org/10.1007/978-3- 319-58943-5 59)
• Soft fault detection and correction for multigrid. The International Journal of High Performance Computing Applications
  Altenbernd, M.; Göddeke, D.
  (See online at https://dx.doi.org/10.1177/1094342016684006)
• Preconditioning for hyperelasticity-based mesh optimisation. Ergebnisberichte des Instituts für Angewandte Mathematik, TU Dortmund, 573, 2017
  Paul, J.
  
• Orientation-preserving mesh optimisation and preconditioning. International Journal of Numerical Methods in Engineering
  Paul, J.
  (See online at https://doi.org/10.1002/nme.5764)