TUDa Data Storage (NFDI-Speicher 2025)

• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579750574

Dieser Antrag ist Teil einer, vom Nationalen Hochleistungsrechnen (NHR), koordinierten Initiative. Diese basiert auf der etablierten Expertise des NHR in der Bereitstellung bundesweiter, hochschulübergreifender Dienstleistungen und im Management großer Forschungsinfrastrukturen. Das Ziel ist, die NFDI mit einer integrierten und zuverlässigen Speicherlandschaft zu unterstützen, die, wie die bestehenden NHR-Dienste, nachhaltig betrieben und somit den Beginn der Entwicklung einer kohärenten Forschungsdateninfrastruktur in Deutschland markieren wird. Die NHR-Zentren schlagen gemeinsam vor, ein national orchestriertes Datenrückgrat aufzubauen, das sowohl Speichersysteme als auch eine Schicht zur Transformation von Daten für Forschungsdatenservices umfasst, die direkt auf die NFDI-Konsortien abzielen. Die Speichersysteme werden eng mit bestehenden HPC-Systemen verbunden, um datenintensive Verarbeitung zu ermöglichen, die z.B. für das Training und die Anwendung von KI-Modellen erforderlich ist. Die Infrastruktur wird konsequent durch Identitäts- und Zugangsmanagement sowie Verteilungs- und Bereitstellungsprozesse unterstützt, die gemeinsam mit den NFDI-Konsortien entwickelt wurden und den Richtlinien für die EOSC Federation entsprechen. Der koordinierte Ansatz nutzt die vielfältigen technologischen Stärken an den NHR-Standorten, um die Anforderungen der NFDI-Konsortien an die Datenspeicherung zu erfüllen. Basierend auf den Anforderungen der NFDI-Konsortien NFDI4ING, NFDI-MatWerk und NFDIxCS plant die TU Darmstadt den Aufbau eines Objektspeichersystems, das den Konsortien 11 Petabyte Warm Storage zur Verfügung stellt. Dieses System ermöglicht die direkte Speicherung und gemeinsame Nutzung großer Datenmengen. Der Speicher dient als Backend für Forschungsdatenmanagement-Plattformen und -Dienste der Konsortien, um deren spezifische Anforderungen zu erfüllen. Darüber hinaus wird der Speicher direkt mit unserem HPC-Hot-Storage verbunden, um eine komfortable Verarbeitung der Forschungsdaten mit der HPC-Infrastruktur zu ermöglichen. Ein zusätzlicher Bandspeicher für systemunabhängige Backups und Disaster Recovery ergänzt den Objektspeicher. In enger Zusammenarbeit mit der RWTH Aachen wird unser Objektspeicher als Speicher-Backend für die Datenmanagement-Plattform Coscine dienen. Coscine ermöglicht Datenmanagement nach den FAIR-Prinzipien sowie Metadatenmanagement mittels Wissensgraphen. Die Plattform wird bereits von mehreren NFDI-Konsortien eingesetzt, insbesondere von NFDI4ING und NFDI-MatWerk, die wir mit diesem Speichersystem direkt unterstützen. Durch die Erweiterung dieser bestehenden Plattform werden die damit verbundenen Datenmanagement- und Distributionsprozesse unmittelbar allen NFDI-Konsortien zugänglich gemacht. Darüber hinaus können die Konsortien gemäß den Anforderungen von NFDIxCS direkt über die flexible S3-Schnittstelle auf das Speichersystem zugreifen. Zusätzlich planen wir TUdatalib, das Forschungsdaten-Repositorium der TUDa, anzubinden.

• DFG-Verfahren: Forschungsgroßgeräte
• Großgeräte: TUDa Data Storage (NFDI-Speicher 2025)
• Gerätegruppe: 7000 Datenverarbeitungsanlagen, zentrale Rechenanlagen
• Antragstellende Institution: Technische Universität Darmstadt
• Leiter: Dr.-Ing. Johannes Braun