Compute4PUNCH与Storage4PUNCH：面向粒子物理、天体物理与核物理的联邦基础设施

1. 引言

PUNCH4NFDI（面向国家研究数据基础设施的粒子、宇宙、原子核与强子）联盟由德国研究联合会资助，代表了德国粒子物理、天体物理、天体粒子物理、强子物理和核物理领域约9,000名科学家。作为国家NFDI计划的一部分，其主要目标是建立一个联邦化且符合FAIR（可发现、可访问、可互操作、可重用）原则的科学数据平台。该平台旨在无缝访问其成员机构贡献的多样化、异构的计算和存储资源，以应对使用复杂算法分析呈指数级增长数据量的共同挑战。本文档详细阐述了为整合这些资源而开发的Compute4PUNCH和Storage4PUNCH概念。

2. 联邦异构计算基础设施 – Compute4PUNCH

Compute4PUNCH旨在解决如何有效利用遍布德国、由各方贡献的多种高吞吐量计算、高性能计算和云资源这一挑战。这些资源在架构、操作系统、软件和认证方式上各不相同，且已为其他目的运行，限制了对其进行修改的空间。

3. 联邦存储基础设施 – Storage4PUNCH

Storage4PUNCH专注于整合社区提供的存储系统，这些系统主要基于在高能物理领域成熟的dCache和XRootD技术。该联邦创建了一个统一的命名空间和访问层。此概念还评估了现有技术以实现：

• 缓存：改善数据访问延迟并减少广域网流量，类似于全球数据网格（如大型强子对撞机计算网格）中使用的概念。
• 元数据处理：旨在实现更深层次的集成，以支持基于元数据属性的数据发现，而不仅仅是简单的文件定位。

Compute4PUNCH与Storage4PUNCH相结合的环境，使研究人员能够执行需要协调访问计算能力和大型数据集的资源密集型分析任务。

4. 技术细节与数学框架

COBalD/TARDIS的资源调度可以建模为一个优化问题。设$J = \{j_1, j_2, ..., j_n\}$为HTCondor队列中的一组作业，$P = \{p_1, p_2, ..., p_m\}$为可用资源池（本地和外部）。每个作业$j_i$有需求$R_i$（CPU核心数、内存、GPU、软件）。每个资源$p_k$有性能$C_k$和一个成本函数$\text{Cost}(p_k, t)$，该成本可以是货币成本，也可以基于优先级/积分。

元调度器的目标是找到一个映射$M: J \rightarrow P$，在满足约束条件的同时最小化总成本或完工时间： $$\text{minimize } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{subject to } R_i \subseteq C_{M(j_i)} \text{ for all } j_i \in J.$$ COBalD采用启发式或机器学习策略来解决这个随着作业和资源可用性变化的动态在线优化问题。

5. 实验结果与原型性能

本文报告了在现有原型上运行科学应用的初步经验。虽然提供的摘要中未详述具体的基准测试数字，但成功运行多样化的社区应用验证了该架构。此类联邦系统的关键性能指标通常包括：

• 作业吞吐量：联邦系统每天完成的作业数量。
• 资源利用率：贡献资源（尤其是外部、可弹性伸缩的资源）被有效使用的时间百分比，展示了COBalD动态资源调配的效率。
• 数据传输效率：作业从Storage4PUNCH联邦访问数据的延迟和带宽，对于I/O密集型分析至关重要。
• 用户满意度：通过用户调查衡量的作业提交复杂度和等待时间的减少。

原型阶段对于压力测试AAI集成、HTCondor覆盖层的鲁棒性以及CVMFS为数千个并发作业分发软件的可扩展性至关重要。

6. 分析框架：一个用例场景

场景：一位核物理研究人员需要使用复杂的蒙特卡洛模拟链处理1拍字节的探测器数据。

1. 访问：研究人员使用其机构凭据（通过基于令牌的AAI）登录PUNCH JupyterHub。
2. 软件：其笔记本自动从CVMFS挂载所需的软件栈，并实例化一个包含特定模拟库的容器。
3. 数据：笔记本代码使用联邦Storage4PUNCH命名空间引用数据（例如，`root://punch-federation.de/path/to/data`）。XRootD协议处理数据定位和传输。
4. 计算：研究人员通过一个与HTCondor REST API交互的Python包装器提交10,000个并行作业。COBalD/TARDIS动态调配本地HTCondor工作节点和突发性的HPC云节点混合资源来处理峰值负载。
5. 编排：HTCondor管理作业生命周期。输出写回联邦存储。研究人员通过JupyterHub仪表板监控进度。

此场景展示了该框架旨在实现的无缝集成，隐藏了基础设施的复杂性。

7. 未来应用与发展路线图

PUNCH4NFDI基础设施是国家级研究联邦的蓝图。

• 跨联盟联邦：该模式可扩展到其他NFDI联盟（例如生命科学、工程领域），创建真正的国家研究数据基础设施骨干网。跨联盟的AAI和资源共享协议将是关键。
• 边缘与量子资源集成：随着边缘计算（用于仪器数据预处理）和量子计算技术的成熟，元调度器架构可以扩展以将这些资源作为特殊资源类型纳入。
• AI/ML工作负载优化：调度算法可以集成AI/ML作业运行时间的预测器（类似于`Optuna`或`Ray Tune`等项目中的方法），以进一步优化资源放置，特别是对于GPU资源。
• 增强的元数据与数据湖：元数据目录的深度集成可以将Storage4PUNCH演变为一个活跃的数据湖，实现以数据为中心的调度，将计算作业调度到数据所在位置。
• 可持续性聚焦：未来版本可以优化碳足迹，优先将作业调度到可再生能源比例较高的数据中心，与`欧洲绿色协议`等项目中看到的绿色计算倡议保持一致。

8. 参考文献

1. PUNCH4NFDI联盟. (2024). "PUNCH4NFDI白皮书." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "分布式计算实践：Condor经验." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., 等. (2022). "COBalD/TARDIS – HTCondor资源池的敏捷资源调配." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., 等. (2011). "CERN虚拟机文件系统：一个可扩展、可靠、高效的软件分发系统." Journal of Physics: Conference Series, 331(5), 052004.
5. 大型强子对撞机全球计算网格. "使用XRootD和dCache的存储联邦." https://wlcg.web.cern.ch/
6. Wilkinson, M., 等. (2016). "科学数据管理与管理的FAIR指导原则." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. 分析师视角：核心洞察、逻辑脉络、优势与不足、可行建议

核心洞察：PUNCH4NFDI并非在建造一台新的超级计算机；它是在构建一个联邦操作系统。其真正的创新在于务实的、基于覆盖层的方法，将现有的、官僚化的、异构的机构资源包装成一个单一、用户友好的平台。这与其说是原始技术突破，不如说是国家层面的社会技术协调。它直接应对了研究计算中的“公地悲剧”——资源孤立且利用不足——通过为计算周期和存储字节创建一个受管理的市场。

逻辑脉络：其逻辑极其务实。1) 将异构性视为一等公民： 不强制推行标准化（这在政治上不可行），而是通过HTCondor和容器将其抽象化。2) 最小化资源提供方的阻力： COBalD/TARDIS模型堪称天才——它是一个寄生式调度器，不要求HPC中心改变其本地策略，使得采用变得可行。3) 最大化用户简易性： JupyterHub和令牌AAI是促进采用的关键特性，将巨大的后端复杂性隐藏在浏览器标签页之后。4) 利用社区信任： 基于久经考验的HEP工具（dCache、XRootD、CVMFS）不仅在技术上可靠，还提供了即时可信度并降低了运营风险。