Compute4PUNCH & Storage4PUNCH: Föderierte Infrastruktur für Teilchen-, Astro- und Kernphysik

1. Einleitung

Das von der Deutschen Forschungsgemeinschaft (DFG) geförderte Konsortium PUNCH4NFDI (Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure) repräsentiert etwa 9.000 Wissenschaftler:innen aus den Bereichen Teilchenphysik, Astrophysik, Astroteilchenphysik, Hadronen- und Kernphysik in Deutschland. Eingebettet in die nationale NFDI-Initiative ist sein Hauptziel, eine föderierte und FAIR (Findable, Accessible, Interoperable, Reusable) Wissenschaftsdatenplattform zu etablieren. Diese Plattform soll einen nahtlosen Zugang zu den vielfältigen und heterogenen Rechen- und Speicherressourcen bieten, die von den Mitgliedsinstitutionen beigesteuert werden, und so die gemeinsame Herausforderung bewältigen, exponentiell wachsende Datenmengen mit komplexen Algorithmen zu analysieren. Dieses Dokument erläutert die Compute4PUNCH- und Storage4PUNCH-Konzepte, die entwickelt wurden, um diese Ressourcen zu föderieren.

2. Föderierte heterogene Recheninfrastruktur – Compute4PUNCH

Compute4PUNCH adressiert die Herausforderung, eine breite Palette von in-kind bereitgestellten High-Throughput-Compute (HTC)-, High-Performance-Compute (HPC)- und Cloud-Ressourcen, die über Deutschland verteilt sind, effektiv zu nutzen. Diese Ressourcen unterscheiden sich in Architektur, Betriebssystem, Software und Authentifizierung und sind bereits für andere Zwecke in Betrieb, was den Spielraum für Änderungen einschränkt.

3. Föderierte Speicherinfrastruktur – Storage4PUNCH

Storage4PUNCH konzentriert sich auf die Föderierung von gemeinschaftsbereitgestellten Speichersystemen, die hauptsächlich auf den in der Hochenergiephysik (HEP) etablierten Technologien dCache und XRootD basieren. Die Föderation schafft einen gemeinsamen Namensraum und Zugangslayer. Das Konzept bewertet auch bestehende Technologien für:

• Caching: Zur Verbesserung der Datenzugriffs-Latenz und Reduzierung des WAN-Datenverkehrs, ähnlich den Konzepten in globalen Datengittern wie dem Worldwide LHC Computing Grid (WLCG).
• Metadaten-Handling: Ziel ist eine tiefere Integration, um Datenermittlung basierend auf Metadatenattributen zu ermöglichen, über die reine Dateilokalisierung hinaus.

Die kombinierte Compute4PUNCH- und Storage4PUNCH-Umgebung ermöglicht es Forschenden, ressourcenintensive Analyseaufgaben auszuführen, die koordinierten Zugriff auf sowohl Rechenleistung als auch große Datensätze erfordern.

4. Technische Details & Mathematisches Rahmenwerk

Die Ressourcenplanung durch COBalD/TARDIS kann als Optimierungsproblem modelliert werden. Sei $J = \{j_1, j_2, ..., j_n\}$ eine Menge von Jobs in der HTCondor-Warteschlange und $P = \{p_1, p_2, ..., p_m\}$ der Pool verfügbarer Ressourcen (lokal und extern). Jeder Job $j_i$ hat Anforderungen $R_i$ (CPU-Kerne, Arbeitsspeicher, GPU, Software). Jede Ressource $p_k$ hat Fähigkeiten $C_k$ und eine Kostenfunktion $\text{Cost}(p_k, t)$, die monetär oder auf Priorität/Credits basieren kann.

Das Ziel des Meta-Schedulers ist es, eine Abbildung $M: J \rightarrow P$ zu finden, die die Gesamtkosten oder die Makespan minimiert, unter Einhaltung der Nebenbedingungen: $$\text{minimiere } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{unter der Nebenbedingung } R_i \subseteq C_{M(j_i)} \text{ für alle } j_i \in J.$$ COBalD setzt heuristische oder maschinelle Lernstrategien ein, um dieses dynamische, online Optimierungsproblem zu lösen, während sich Jobs und Ressourcenverfügbarkeit ändern.

5. Experimentelle Ergebnisse & Prototyp-Leistung

Das Papier berichtet über erste Erfahrungen mit wissenschaftlichen Anwendungen auf verfügbaren Prototypen. Während spezifische Benchmark-Zahlen im vorliegenden Auszug nicht detailliert sind, validiert die erfolgreiche Ausführung verschiedener Gemeinschaftsanwendungen die Architektur. Typische Key Performance Indicators (KPIs) für eine solche Föderation umfassen:

• Job-Durchsatz: Anzahl der pro Tag im föderierten System abgeschlossenen Jobs.
• Ressourcenauslastung: Prozentsatz der Zeit, in der bereitgestellte Ressourcen (insbesondere externe, burstfähige) aktiv genutzt werden, was die Effizienz der dynamischen Bereitstellung durch COBalD demonstriert.
• Datenübertragungseffizienz: Latenz und Bandbreite für Jobs, die auf Daten aus der Storage4PUNCH-Föderation zugreifen, entscheidend für I/O-intensive Analysen.
• Nutzerzufriedenheit: Reduzierte Komplexität der Job-Einreichung und Wartezeit, gemessen über Nutzerbefragungen.

Die Prototyp-Phase ist entscheidend, um die AAI-Integration, die Robustheit des HTCondor-Overlays und die Skalierbarkeit von CVMFS für die Softwarebereitstellung an Tausende gleichzeitiger Jobs zu belastungstesten.

6. Analyse-Framework: Ein Anwendungsfall

Szenario: Ein Kernphysiker muss 1 Petabyte Detektordaten mit einer komplexen Monte-Carlo-Simulationskette verarbeiten.

1. Zugang: Der Forscher loggt sich mit seinen institutionellen Zugangsdaten (über die token-basierte AAI) in den PUNCH JupyterHub ein.
2. Software: Sein Notebook mountet automatisch den benötigten Software-Stack von CVMFS und instanziiert einen Container mit den spezifischen Simulationsbibliotheken.
3. Daten: Der Notebook-Code referenziert Daten unter Verwendung des föderierten Storage4PUNCH-Namensraums (z.B. `root://punch-federation.de/pfad/zu/daten`). XRootD-Protokolle übernehmen die Lokalisierung und Übertragung.
4. Rechenleistung: Der Forscher reicht 10.000 parallele Jobs über einen Python-Wrapper ein, der mit der HTCondor REST-API kommuniziert. COBalD/TARDIS stellt dynamisch eine Mischung aus lokalen HTCondor-Workern und burst-fähigen HPC-Cloud-Knoten bereit, um die Spitzenlast zu bewältigen.
5. Orchestrierung: HTCondor verwaltet den Job-Lebenszyklus. Die Ausgabe wird zurück in den föderierten Speicher geschrieben. Der Forscher überwacht den Fortschritt über das JupyterHub-Dashboard.

Dieses Szenario demonstriert die nahtlose Integration, die das Framework anstrebt, und abstrahiert die Infrastrukturkomplexität.

7. Zukünftige Anwendungen & Entwicklungsfahrplan

Die PUNCH4NFDI-Infrastruktur ist ein Blaupause für eine föderierte Forschung auf nationaler Ebene.

• Konsortien-übergreifende Föderation: Das Modell könnte auf andere NFDI-Konsortien (z.B. für Lebenswissenschaften, Ingenieurwesen) ausgeweitet werden und so ein echtes nationales Forschungsdateninfrastruktur-Rückgrat schaffen. Konsortien-übergreifende AAI und Ressourcenteilungsvereinbarungen wären hierfür entscheidend.
• Integration von Edge- & Quantenressourcen: Mit der Reife von Edge Computing (für Instrumentendaten-Vorverarbeitung) und Quantencomputing könnte die Meta-Scheduler-Architektur erweitert werden, um diese als spezialisierte Ressourcentypen einzubinden.
• AI/ML-Workload-Optimierung: Die Scheduling-Algorithmen könnten Prädiktoren für AI/ML-Job-Laufzeiten integrieren (ähnlich Ansätzen in Projekten wie `Optuna` oder `Ray Tune`), um die Platzierung weiter zu optimieren, insbesondere für GPU-Ressourcen.
• Erweiterte Metadaten & Data Lakes: Eine tiefere Integration von Metadatenkatalogen könnte Storage4PUNCH zu einem aktiven Data Lake weiterentwickeln und datenzentriertes Scheduling ermöglichen, bei dem Rechenjobs zum Standort der Daten geschickt werden.
• Nachhaltigkeitsfokus: Zukünftige Versionen könnten den CO2-Fußabdruck optimieren, indem Jobs bevorzugt in Rechenzentren mit höherem Anteil erneuerbarer Energien geplant werden, im Einklang mit Green-Computing-Initiativen wie dem `European Green Deal`.

8. Referenzen

1. PUNCH4NFDI-Konsortium. (2024). "PUNCH4NFDI White Paper." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). "COBalD/TARDIS – Agile resource provisioning for HTCondor pools." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). "The CERN Virtual Machine File System: A scalable, reliable, and efficient software distribution system." Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). "Storage Federation with XRootD and dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. Analystenperspektive: Kernaussage, Logischer Ablauf, Stärken & Schwächen, Handlungsempfehlungen

Kernaussage: PUNCH4NFDI baut keinen neuen Supercomputer; es baut ein Föderations-Betriebssystem. Seine wahre Innovation ist der pragmatische, Overlay-basierte Ansatz, der bestehende, bürokratische und heterogene institutionelle Ressourcen in eine einzige, benutzerfreundliche Plattform einhüllt. Es geht weniger um einen rein technologischen Durchbruch, sondern mehr um sozio-technische Orchestrierung im nationalen Maßstab. Es stellt sich direkt der "Tragik der Allmende" im Forschungsrechnen, wo Ressourcen isoliert und unterausgelastet sind, indem es einen gemanagten Marktplatz für Rechenzyklen und Speicherbytes schafft.

Logischer Ablauf: Die Logik ist makellos pragmatisch. 1) Heterogenität als First-Class Citizen akzeptieren: Anstatt Standardisierung zu erzwingen (politisch nicht durchsetzbar), wird sie mit HTCondor und Containern abstrahiert. 2) Provider-Reibung minimieren: Das COBalD/TARDIS-Modell ist genial – es ist ein parasitärer Scheduler, der von HPC-Zentren keine Änderung ihrer lokalen Richtlinien verlangt, was die Akzeptanz erhöht. 3) Nutzerfreundlichkeit maximieren: JupyterHub und Token-AAI sind die Killer-Features für die Akzeptanz, die immense Backend-Komplexität hinter einem Browser-Tab verbergen. 4) Gemeinschaftsvertrauen nutzen: Der Aufbau auf erprobten HEP-Tools (dCache, XRootD, CVMFS) ist nicht nur technisch solide; es schafft sofortige Glaubwürdigkeit und reduziert das Betriebsrisiko.

Stärken & Schwächen: Die Stärke ist seine Einsetzbarkeit. Dies ist keine Forschungspapier-Fantasie; es ist ein funktionierender Prototyp mit ausgereiften, Open-Source-Komponenten. Die Vision des föderierten Speichers, wenn mit Metadaten vollständig realisiert, könnte transformativ sein. Die Schwächen liegen jedoch in den Nahtstellen. Der Performance-Overhead der Meta-Scheduler-Schicht und der Weitverkehrs-Datentransfer könnten die Vorteile für eng gekoppelte HPC-Anwendungen zunichtemachen. Das Modell ist inhärent am besten für hochparallele, lose gekoppelte Workloads geeignet. Es gibt auch eine Governance-Zeitbombe: Wer priorisiert Jobs, wenn die Nachfrage das föderierte Angebot übersteigt? Das Papier übergeht die unvermeidlichen politischen Kämpfe um Fair-Share-Algorithmen und Kostenverteilung zwischen Institutionen. Schließlich wird, obwohl "Cloud"-Ressourcen erwähnt werden, das Wirtschaftlichkeitsmodell für das Bursting in kommerzielle Clouds (AWS, Google Cloud) mit echtem Geld, nicht nur Credits, als unerforschtes Gebiet voller Budgetrisiken nicht behandelt.

Handlungsempfehlungen: 1) Für andere Konsortien: Diese Blaupause sofort kopieren. Das Architekturmuster ist wiederverwendbar. Beginnen Sie mit AAI und einem einfachen Job-Gateway. 2) Für PUNCH4NFDI selbst: Harte Leistungsdaten veröffentlichen. Sie müssen transparent die Overhead-Kosten der Föderation gegenüber dem nativen Zugang zeigen, um Vertrauen aufzubauen. 3) JETZT eine granulare, multidimensionale Fair-Share-Policy entwickeln, bevor Konflikte entstehen. Juristen und Buchhalter einbeziehen, nicht nur Physiker. 4) Integration mit Workflow-Managern (Nextflow, Snakemake) erforschen. Diese werden zum De-facto-Standard für reproduzierbare Wissenschaft; native Integration wäre ein großer Gewinn. 5) Ein "Föderations-Reifegradmodell" in Betracht ziehen, um Ressourcenanbieter schrittweise einzubinden, vom einfachen Batch-Zugang bis zur vollständigen Daten-/Rechen-Co-Planung. Dies ist nicht nur Infrastruktur; es ist ein neues Modell zur Organisation nationaler Forschungskapazität. Sein Erfolg wird ebenso sehr von Governance und Gemeinschaftsakzeptanz abhängen wie von der Eleganz seines Codes.