Compute4PUNCH 與 Storage4PUNCH：粒子、天體與核物理學的聯邦式基礎設施

1. 簡介

由德國研究基金會（DFG）資助的 PUNCH4NFDI（國家研究資料基礎設施之粒子、宇宙、原子核與強子）聯盟，代表了德國粒子物理、天體物理、天體粒子物理、強子物理與核物理領域約 9,000 名科學家。作為國家 NFDI 計畫的一部分，其主要目標是建立一個聯邦式且符合 FAIR（可查找、可存取、可互通、可重用）原則的科學資料平台。此平台旨在無縫存取其成員機構貢獻的多樣化、異質性運算與儲存資源，以應對使用複雜演算法分析指數級增長資料量的共同挑戰。本文件詳細介紹了為整合這些資源而開發的 Compute4PUNCH 與 Storage4PUNCH 概念。

2. 聯邦式異質運算基礎設施 – Compute4PUNCH

Compute4PUNCH 旨在解決有效利用分散於德國各地、由各方貢獻的高吞吐量運算（HTC）、高效能運算（HPC）及雲端資源的挑戰。這些資源在架構、作業系統、軟體和身份驗證方面各不相同，且已為其他目的運作，限制了修改的空間。

3. 聯邦式儲存基礎設施 – Storage4PUNCH

Storage4PUNCH 專注於整合社群提供的儲存系統，主要基於在高能物理（HEP）領域已廣泛使用的 dCache 與 XRootD 技術。此聯邦式架構建立了一個共用的命名空間與存取層。該概念也評估了現有技術以實現：

• 快取： 改善資料存取延遲並減少廣域網路流量，類似於全球資料網格（如大型強子對撞機計算網格 WLCG）所使用的概念。
• 詮釋資料處理： 旨在實現更深層的整合，以基於詮釋資料屬性進行資料發現，超越單純的檔案位置查詢。

結合 Compute4PUNCH 與 Storage4PUNCH 的環境，使研究人員能夠執行需要協調存取運算能力與大型資料集的資源密集型分析任務。

4. 技術細節與數學框架

COBalD/TARDIS 的資源排程可以建模為一個最佳化問題。令 $J = \{j_1, j_2, ..., j_n\}$ 為 HTCondor 佇列中的一組工作，$P = \{p_1, p_2, ..., p_m\}$ 為可用資源池（本地與外部）。每個工作 $j_i$ 有需求 $R_i$（CPU 核心、記憶體、GPU、軟體）。每個資源 $p_k$ 有容量 $C_k$ 和一個成本函數 $\text{Cost}(p_k, t)$，該成本可能是金錢上的，或基於優先權/點數。

元排程器的目標是找到一個映射 $M: J \rightarrow P$，在滿足約束條件下最小化總成本或完工時間： $$\text{minimize } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{subject to } R_i \subseteq C_{M(j_i)} \text{ for all } j_i \in J.$$ COBalD 採用啟發式或機器學習策略來解決這個隨著工作與資源可用性變化的動態線上最佳化問題。

5. 實驗結果與原型效能

本文報告了在現有原型上執行科學應用程式的初步經驗。雖然提供的摘要中未詳述具體的基準測試數字，但成功執行多樣化的社群應用程式驗證了此架構。此類聯邦式系統的關鍵績效指標（KPI）通常包括：

• 工作吞吐量： 聯邦式系統每天完成的工作數量。
• 資源利用率： 貢獻資源（特別是外部、可突發使用的資源）被積極使用的時間百分比，展示了 COBalD 動態配置的效率。
• 資料傳輸效率： 工作從 Storage4PUNCH 聯邦式系統存取資料的延遲與頻寬，對於 I/O 密集的分析至關重要。
• 使用者滿意度： 透過使用者調查衡量工作提交複雜度與等待時間的減少。

原型階段對於壓力測試 AAI 整合、HTCondor 覆蓋層的穩健性，以及 CVMFS 向數千個並行工作分發軟體的可擴展性至關重要。

6. 分析框架：一個使用案例情境

情境： 一位核物理研究人員需要使用複雜的蒙地卡羅模擬鏈處理 1 PB 的偵測器資料。

1. 存取： 研究人員使用其機構憑證（透過基於令牌的 AAI）登入 PUNCH JupyterHub。
2. 軟體： 其筆記本自動從 CVMFS 掛載所需的軟體堆疊，並實例化一個包含特定模擬函式庫的容器。
3. 資料： 筆記本中的程式碼使用聯邦式 Storage4PUNCH 命名空間（例如 `root://punch-federation.de/path/to/data`）來引用資料。XRootD 協定負責處理資料定位與傳輸。
4. 運算： 研究人員透過一個與 HTCondor REST API 介接的 Python 封裝程式提交 10,000 個平行工作。COBalD/TARDIS 動態配置本地 HTCondor 工作節點與突發的 HPC 雲端節點混合資源，以處理尖峰負載。
5. 協調： HTCondor 管理工作生命週期。輸出結果寫回聯邦式儲存。研究人員透過 JupyterHub 儀表板監控進度。

此情境展示了該框架旨在實現的無縫整合，隱藏了基礎設施的複雜性。

7. 未來應用與發展藍圖

PUNCH4NFDI 基礎設施是國家級研究聯邦的藍圖。

• 跨聯盟聯邦： 此模式可擴展至其他 NFDI 聯盟（例如生命科學、工程領域），建立真正的國家研究資料基礎設施骨幹。聯盟間的 AAI 與資源共享協議將是關鍵。
• 邊緣與量子資源整合： 隨著邊緣運算（用於儀器資料預處理）與量子運算的成熟，元排程器架構可擴展以將這些納入作為特殊資源類型。
• AI/ML 工作負載最佳化： 排程演算法可以整合 AI/ML 工作執行時間的預測器（類似於 `Optuna` 或 `Ray Tune` 等專案的方法），以進一步最佳化工作放置，特別是針對 GPU 資源。
• 增強詮釋資料與資料湖： 更深層的詮釋資料目錄整合，可將 Storage4PUNCH 發展成一個主動式資料湖，實現以資料為中心的排程，將運算工作分派到資料所在位置。
• 永續性焦點： 未來版本可以最佳化碳足跡，優先將工作排程到可再生能源比例較高的資料中心，與「歐洲綠色政綱」等專案中的綠色運算倡議保持一致。

8. 參考文獻

1. PUNCH4NFDI 聯盟. (2024). "PUNCH4NFDI 白皮書." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). "COBalD/TARDIS – Agile resource provisioning for HTCondor pools." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). "The CERN Virtual Machine File System: A scalable, reliable, and efficient software distribution system." Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). "Storage Federation with XRootD and dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. 分析師觀點：核心洞見、邏輯脈絡、優勢與缺陷、可行建議

核心洞見： PUNCH4NFDI 並非在建造一台新的超級電腦；它是在建造一個聯邦式作業系統。其真正的創新在於實用主義、基於覆蓋層的方法，將現有的、官僚的、異質的機構資源包裝成一個單一、使用者友善的平台。這與其說是原始技術突破，不如說是在國家規模上的社會技術協調。它直接面對研究運算中的「公共財悲劇」——資源被孤立且未充分利用——透過為運算週期與儲存位元組建立一個受管理的市場。

邏輯脈絡： 其邏輯無可挑剔地務實。1) 將異質性視為首要考量： 不強制標準化（這在政治上不可行），而是用 HTCondor 和容器將其抽象化。2) 最小化提供者摩擦： COBalD/TARDIS 模型是個天才之舉——它是一個寄生式排程器，不要求 HPC 中心改變其本地政策，使採用變得可行。3) 最大化使用者簡易性： JupyterHub 和令牌式 AAI 是促進採用的殺手級功能，將巨大的後端複雜性隱藏在瀏覽器分頁之後。4) 善用社群信任： 基於久經考驗的 HEP 工具（dCache、XRootD、CVMFS）不僅技術上可靠，更提供了即時的可信度並降低了運營風險。