Climate analytics on distributed exascale data archives - ExArch
Zusammenfassung der Projektergebnisse
Angesichts von exponentiell wachsenden Datenbeständen insbesondere aus Klima-Modell Simulationen steigen die Anforderungen an die Datenverwaltung durch die Klimaforschungs-Gemeinschaft. Für das internationale Klimamodell-Vergleichsexperiment CM1P5 wurde erstmals ein weltweit verteiltes (ca. 3 Peta-Byte großes) Datenarchiv etabliert, um diesen Anforderungen zu begegnen. Innerhalb des ExArch Projektes wurden Aspekte einer Daten-Infrastruktur erforscht, skaliert für zukünftige verteilte Datenarchive im Exa-Byte Bereich. Am DKRZ wurden hierbei insbesondere die Aspekte der Daten-Archiv-nahen Daten-Prozessierung, sowie die verteilte Daten- Qualitätsprüfung bearbeitet. Ergebnis der Arbeiten war ein Prototyp eines OGC-Standard konformen Prozessierungs-Systems, das gegenwärtig im Rahmen weiterer Arbeiten in Richtung eines Produktionsbetriebes weiterentwickelt wird. Der Ansatz wurde durch die Integration von Qualtitätsprüfungs-Routinen in das Prozessierungs-System, sowie die Anwendung auf CORDEX Daten getestet. Die Ergebnisse wurden auf europäischen und internationalen workshops vorgestellt und diskutiert und werden in die europäische ENES Dateninfrastruktur einfließen, die gegenwärtig im Rahmen des IS-ENES FP7 Projektes gefördert und etabliert wird.
Projektbezogene Publikationen (Auswahl)
- "Quality Control and ESGF: Long Term Archival requirements": 3rd Annual Earth System Grid Federation and Ultrasclale Visualization Climate Data Analysis Tools Face-to-Face Meeting, December 2013, LLNL, USA
Kindermann, Stephan
- "Climate data processing web services and workflows": IS-ENES2 workshop on workflow solution in Earth System Modeling, 3.-5. June 2014, Hamburg, Germany
Kindermann, Stephan
