Project Details
Projekt Print View

Climate analytics on distributed exascale data archives - ExArch

Subject Area Software Engineering and Programming Languages
Term from 2011 to 2014
Project identifier Deutsche Forschungsgemeinschaft (DFG) - Project number 200750705
 
Final Report Year 2014

Final Report Abstract

Angesichts von exponentiell wachsenden Datenbeständen insbesondere aus Klima-Modell Simulationen steigen die Anforderungen an die Datenverwaltung durch die Klimaforschungs-Gemeinschaft. Für das internationale Klimamodell-Vergleichsexperiment CM1P5 wurde erstmals ein weltweit verteiltes (ca. 3 Peta-Byte großes) Datenarchiv etabliert, um diesen Anforderungen zu begegnen. Innerhalb des ExArch Projektes wurden Aspekte einer Daten-Infrastruktur erforscht, skaliert für zukünftige verteilte Datenarchive im Exa-Byte Bereich. Am DKRZ wurden hierbei insbesondere die Aspekte der Daten-Archiv-nahen Daten-Prozessierung, sowie die verteilte Daten- Qualitätsprüfung bearbeitet. Ergebnis der Arbeiten war ein Prototyp eines OGC-Standard konformen Prozessierungs-Systems, das gegenwärtig im Rahmen weiterer Arbeiten in Richtung eines Produktionsbetriebes weiterentwickelt wird. Der Ansatz wurde durch die Integration von Qualtitätsprüfungs-Routinen in das Prozessierungs-System, sowie die Anwendung auf CORDEX Daten getestet. Die Ergebnisse wurden auf europäischen und internationalen workshops vorgestellt und diskutiert und werden in die europäische ENES Dateninfrastruktur einfließen, die gegenwärtig im Rahmen des IS-ENES FP7 Projektes gefördert und etabliert wird.

Publications

  • "Quality Control and ESGF: Long Term Archival requirements": 3rd Annual Earth System Grid Federation and Ultrasclale Visualization Climate Data Analysis Tools Face-to-Face Meeting, December 2013, LLNL, USA
    Kindermann, Stephan
  • "Climate data processing web services and workflows": IS-ENES2 workshop on workflow solution in Earth System Modeling, 3.-5. June 2014, Hamburg, Germany
    Kindermann, Stephan
 
 

Additional Information

Textvergrößerung und Kontrastanpassung