Compute4PUNCH & Storage4PUNCH : Infrastructure fédérée pour la physique des particules, l'astrophysique et la physique nucléaire

1. Introduction

Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure (PUNCH4NFDI) est un consortium allemand financé par la DFG (Deutsche Forschungsgemeinschaft). Il représente environ 9 000 scientifiques des communautés de la physique des particules, de l'astrophysique, de l'astroparticule, des hadrons et de la physique nucléaire. L'objectif principal du consortium est d'établir une plateforme de données scientifiques fédérée et FAIR (Faciles à trouver, Accessibles, Interopérables, Réutilisables). Cette plateforme vise à fournir un accès unifié aux diverses ressources de calcul et de stockage hétérogènes fournies par ses institutions membres à travers l'Allemagne, répondant ainsi au défi commun d'analyser des volumes de données en croissance exponentielle avec des algorithmes complexes.

2. Infrastructure de calcul hétérogène fédérée – Compute4PUNCH

Le concept Compute4PUNCH relève le défi de fournir un accès transparent à un large éventail de ressources de calcul à haut débit (HTC), de calcul haute performance (HPC) et de ressources cloud apportées en nature. Ces ressources varient en architecture, système d'exploitation, logiciels et authentification, et sont déjà opérationnelles et partagées, nécessitant une approche d'intégration non intrusive.

3. Infrastructure de stockage fédérée – Storage4PUNCH

Parallèlement au calcul, le concept Storage4PUNCH fédère les systèmes de stockage fournis par la communauté, principalement basés sur les technologies dCache et XRootD, bien établies en physique des hautes énergies (HEP).

4. Détails techniques & Cadre mathématique

Le défi central d'ordonnancement peut être modélisé comme un problème d'optimisation de ressources. Soit $R = \{r_1, r_2, ..., r_n\}$ l'ensemble des ressources hétérogènes, chacune avec des attributs comme l'architecture, les cœurs disponibles $c_i$, la mémoire $m_i$, et le temps d'attente dans la file $w_i$. Soit $J = \{j_1, j_2, ..., j_m\}$ les tâches avec les exigences $\hat{c}_j, \hat{m}_j$.

Le méta-ordonnanceur (COBalD/TARDIS) vise à maximiser l'utilité globale ou le débit. Une fonction objectif simplifiée pour le placement des tâches pourrait être de minimiser le makespan ou de maximiser l'utilisation des ressources, en considérant les contraintes :

$\text{Minimiser } \max_{r \in R} (\text{completionTime}(r))$

sous les contraintes : $\sum_{j \in J_r} \hat{c}_j \leq c_r \quad \text{et} \quad \sum_{j \in J_r} \hat{m}_j \leq m_r \quad \forall r \in R$

où $J_r$ est l'ensemble des tâches assignées à la ressource $r$. La nature dynamique est gérée par TARDIS, qui "trompe" HTCondor pour qu'il voie les ressources distantes comme faisant partie de son pool local.

5. Résultats expérimentaux & État du prototype

L'article rend compte de l'état actuel et des premières expériences avec des applications scientifiques sur les prototypes disponibles. Bien que des chiffres de benchmark spécifiques ne soient pas détaillés dans l'extrait fourni, l'exécution réussie de charges de travail scientifiques réelles est sous-entendue. L'intégration d'HTCondor avec COBalD/TARDIS a été démontrée comme capable d'intégrer dynamiquement des ressources provenant de différents domaines administratifs. L'accès initial des utilisateurs via JupyterHub et l'AAI basée sur des jetons a été testé, fournissant une preuve de concept pour le point d'entrée unifié. L'utilisation de CVMFS a été validée pour la fourniture des environnements logiciels nécessaires à travers l'infrastructure fédérée.

6. Cadre d'analyse : Une étude de cas conceptuelle

Considérons une analyse d'astrophysique multi-messagers recherchant des contreparties de neutrinos aux sursauts gamma. Le flux de travail implique :

1. Découverte des données : Un chercheur utilise le catalogue de métadonnées fédéré (en cours d'évaluation dans Storage4PUNCH) pour localiser les données d'événements de neutrinos pertinentes d'IceCube et les données gamma de Fermi-LAT, stockées dans des instances dCache au DESY et à Bielefeld.
2. Soumission du flux de travail : Via l'interface JupyterHub, le chercheur définit une analyse par balayage de paramètres. Les exigences des tâches (logiciel : Python, suite logicielle IceCube via CVMFS ; calcul : 1000 heures-CPU) sont spécifiées.
3. Orchestration : La superposition HTCondor, guidée par COBalD/TARDIS, associe et répartit dynamiquement des centaines de tâches vers les emplacements disponibles à travers le HPC du KIT, le HTC de Bonn et les ressources cloud. L'AAI à jetons gère l'authentification de manière transparente.
4. Exécution & Accès aux données : Les tâches récupèrent le logiciel depuis CVMFS, lisent les données d'entrée directement depuis le stockage fédéré via les portes XRootD, et écrivent les résultats intermédiaires dans un espace de stockage temporaire.
5. Agrégation des résultats : Les résultats finaux sont agrégés et réécrits dans un référentiel persistant, conforme aux principes FAIR, au sein de la fédération Storage4PUNCH.

Ce cas démontre la proposition de valeur : un scientifique interagit avec un système unique et cohérent pour tirer parti de ressources hétérogènes dispersées à l'échelle nationale sans avoir à gérer la complexité sous-jacente.

7. Perspectives d'application & Orientations futures

L'infrastructure combinée Compute4PUNCH et Storage4PUNCH a un potentiel significatif au-delà des communautés PUNCH initiales :

• Fédération inter-domaines : Le modèle pourrait être étendu à d'autres consortiums NFDI ou initiatives du European Open Science Cloud (EOSC), créant une véritable infrastructure fédérée paneuropéenne.
• Intégration du calcul en périphérie : Pour des domaines comme la radioastronomie ou la surveillance de détecteurs, l'intégration de ressources de calcul en périphérie près des capteurs pourrait être une prochaine étape logique.
• Support des charges de travail IA/ML : Améliorer l'ordonnanceur pour supporter nativement les ressources GPU/accélérateurs et des frameworks comme Kubernetes pour les travaux d'entraînement ML à grande échelle.
• Gestion avancée des données : Intégration plus profonde du placement intelligent des données, de la gestion du cycle de vie et des catalogues de métadonnées actifs pour optimiser les flux de travail intensifs en données.
• Hybride avec calcul quantique : À mesure que le calcul quantique mûrit, la fédération pourrait incorporer des processeurs quantiques comme ressources spécialisées pour des étapes d'algorithmes spécifiques.

Le succès de cette fédération dépendra d'un financement durable, d'une robustesse opérationnelle et d'une adhésion continue de la communauté au modèle fédéré plutôt qu'à l'optimisation locale.

8. Références

1. Consortium PUNCH4NFDI. "PUNCH4NFDI – Particles, Universe, NuClei and Hadrons for the NFDI." Livre blanc, 2021.
2. Thain, D., Tannenbaum, T., & Livny, M. "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356, 2005.
3. Blomer, J., et al. "CernVM-FS: delivering scientific software to globally distributed computing resources." Journal of Physics: Conference Series, 396(5), 052018, 2012.
4. Fuhrmann, P., & Gulzow, V. "dCache, storage system for the future." In European Conference on Parallel Processing (pp. 1106-1113). Springer, Berlin, Heidelberg, 2006.
5. Collaboration XRootD. "XRootD – A highly scalable architecture for data access." WSEAS Transactions on Computers, 10(11), 2011.
6. Isard, M., et al. "Quincy: fair scheduling for distributed computing clusters." In Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles (pp. 261-276), 2009. (Pour le contexte théorique de l'ordonnancement).
7. Wilkinson, M. D., et al. "The FAIR Guiding Principles for scientific data management and stewardship." Scientific data, 3(1), 1-9, 2016.

9. Analyse originale : Idée centrale, Enchaînement logique, Forces & Faiblesses, Perspectives d'action

Idée centrale : PUNCH4NFDI ne construit pas un nouveau supercalculateur ; il conçoit une couche de fédération à intrusion minimale viable. C'est une réponse pragmatique et politiquement avisée à la contrainte réelle du paysage fragmenté et communautaire du calcul de recherche en Allemagne. La véritable innovation ne réside pas dans les technologies individuelles—HTCondor, dCache, CVMFS sont éprouvées—mais dans leur orchestration en un système national cohérent avec une AAI basée sur des jetons comme liant. C'est une stratégie classique de "réseau superposé" appliquée à la cyberinfrastructure, rappelant la façon dont l'internet lui-même a été construit sur des réseaux physiques divers. Alors que le European Open Science Cloud (EOSC) est aux prises avec des défis de fédération similaires, l'approche de PUNCH offre un plan opérationnel concret.

Enchaînement logique : La logique est d'une simplicité convaincante : 1) Accepter l'hétérogénéité comme un état permanent, non un problème à éliminer. 2) Utiliser un méta-ordonnancement léger (COBalD/TARDIS) pour créer un pool virtuel, évitant de modifier les ordonnanceurs locaux bien établis (SLURM, PBS, etc.). 3) Découpler la gestion des identités et des accès via des jetons, contournant le cauchemar de la réconciliation des comptes institutionnels. 4) Découpler le logiciel de l'infrastructure via CVMFS/conteneurs. 5) Appliquer la même logique de fédération au stockage. Le flux va de la simplicité côté utilisateur (JupyterHub) vers le bas à travers des couches d'abstraction jusqu'à la complexité sous-jacente.

Forces & Faiblesses : La force écrasante est la capacité de déploiement pratique. En exigeant des changements minimaux de la part des fournisseurs de ressources, elle abaisse la barrière à la participation, ce qui est crucial pour amorcer un consortium. L'exploitation d'outils HEP matures assure la fiabilité et réduit le risque de développement. Cependant, les faiblesses résident dans les compromis. Le modèle superposé peut introduire des surcharges de performance dans la distribution des tâches et l'accès aux données par rapport à un système étroitement intégré. L'abstraction du "plus petit dénominateur commun" pourrait limiter l'accès aux fonctionnalités uniques de systèmes HPC spécifiques. Plus critique encore, le modèle de durabilité à long terme n'est pas éprouvé—qui paie pour la coordination centrale, la maintenance du méta-ordonnanceur et le support utilisateur ? Le projet risque de construire un prototype brillant qui dépérit après le financement initial de 5 ans de la DFG.

Perspectives d'action : Pour d'autres consortiums, le principal enseignement est de commencer par la gouvernance et une intégration légère, pas par une refonte technique grandiose. 1) Adopter immédiatement une AAI basée sur des jetons ; c'est le facilitateur fondateur. 2) Prioriser l'expérience utilisateur (JupyterHub) pour favoriser l'adoption ; les scientifiques n'utiliseront pas un système lourd. 3) Instrumenter tout dès le premier jour. Pour sécuriser les financements futurs, ils doivent générer des métriques convaincantes sur l'augmentation de l'utilisation des ressources, la collaboration inter-institutionnelle et le débit scientifique. 4) Planifier la "seconde fédération"—comment s'interconnecter avec d'autres consortiums NFDI ou l'EOSC. L'architecture technique doit être explicitement conçue pour une fédération imbriquée. Enfin, ils doivent développer un modèle clair de partage des coûts pour les services centraux, passant des subventions de projet à un modèle de financement opérationnel coopératif similaire au WLCG (Worldwide LHC Computing Grid). La technologie est prête ; le défi durable est socio-technique.