Infrastruktur Pengkomputeran dan Penyimpanan Heterogen Bersekutu untuk PUNCH4NFDI

1. Pengenalan

Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure (PUNCH4NFDI) ialah sebuah konsortium utama Jerman yang dibiayai oleh DFG (German Research Foundation). Ia mewakili kira-kira 9,000 saintis daripada komuniti fizik zarah, astro-, astrozarah, hadron, dan nuklear. Matlamat utama konsortium ini adalah untuk mewujudkan platform data sains bersekutu yang FAIR (Findable, Accessible, Interoperable, Reusable). Platform ini bertujuan untuk menyediakan akses lancar kepada pelbagai sumber pengkomputeran dan penyimpanan yang heterogen dan tersebar di institusi-institusi yang menyertai, menangani cabaran umum jumlah data yang besar dan algoritma yang kompleks serta intensif sumber. Dokumen ini memfokuskan kepada konsep seni bina—Compute4PUNCH dan Storage4PUNCH—yang dibangunkan untuk menyekutukan sumber-sumber yang disumbangkan secara in-kind ini.

2. Infrastruktur Pengkomputeran Heterogen Bersekutu – Compute4PUNCH

Konsep Compute4PUNCH menangani cabaran untuk menyediakan akses bersatu kepada pelbagai sumber Pengkomputeran Berbilang-Tugas Tinggi (HTC), Pengkomputeran Prestasi Tinggi (HPC), dan Awan sedia ada yang disumbangkan oleh pelbagai institusi. Sumber-sumber ini berbeza dari segi seni bina, OS, perisian, dan pengesahan. Kekangan utama adalah meminimumkan perubahan kepada sistem operasi sedia ada yang dikongsi oleh pelbagai komuniti.

2.1 Seni Bina Teras & Strategi Integrasi

Strategi ini menggunakan sistem kelompok lapisan atas bersekutu. Daripada mengubah suai pengurus sumber tempatan (seperti SLURM, PBS), sebuah kolam lapisan atas berasaskan HTCondor dicipta. Penjadual-meta sumber COBalD/TARDIS mengintegrasikan backend heterogen (kluster HPC, ladang HTC, VM awan) secara dinamik dan telus ke dalam kolam bersatu ini. Ia bertindak sebagai sistem "perintis", menghantar kerja placeholder untuk menuntut sumber dan kemudian melaksanakan beban kerja pengguna sebenar.

2.2 Akses Pengguna & Persekitaran Perisian

Akses disediakan melalui nod log masuk tradisional dan perkhidmatan JupyterHub, yang berfungsi sebagai titik masuk pusat. Infrastruktur Pengesahan dan Pemberian Kuasa (AAI) berasaskan token menyelaraskan akses. Kerumitan persekitaran perisian diuruskan melalui teknologi kontena (Docker, Singularity/Apptainer) dan Sistem Fail Mesin Maya CERN (CVMFS), yang menyampaikan timbunan perisian khusus komuniti yang telah dikonfigurasi terlebih dahulu secara boleh skala dan baca-sahaja.

3. Infrastruktur Penyimpanan Bersekutu – Storage4PUNCH

Storage4PUNCH bertujuan untuk menyekutukan sistem penyimpanan yang dibekalkan oleh komuniti, terutamanya berasaskan teknologi dCache atau XRootD, yang telah mantap dalam Fizik Tenaga Tinggi (HEP). Persekutuan ini mewujudkan ruang nama dan lapisan akses yang sama. Konsep ini juga menilai teknologi sedia ada untuk caching (untuk mengurangkan kependaman dan trafik WAN) dan pengendalian metadata, bertujuan untuk integrasi yang lebih mendalam bagi memudahkan penemuan dan pengurusan data merentasi penyimpanan bersekutu.

4. Pelaksanaan Teknikal & Komponen Teras

4.1 Persekutuan Pengkomputeran: HTCondor & COBalD/TARDIS

HTCondor: Menyediakan lapisan pengurusan kerja, beratur, dan penjadualan dalam kolam bersekutu. Mekanisme ClassAd-nya membolehkan pemadanan keperluan kerja kompleks dengan sifat sumber dinamik.
COBalD/TARDIS: Terletak di antara HTCondor dan backend heterogen. TARDIS menterjemah "perintis" HTCondor kepada arahan penghantaran khusus backend (contohnya, skrip kerja SLURM). COBalD melaksanakan logik keputusan untuk bila dan di mana untuk melancarkan perintis ini berdasarkan polisi, kos, dan status barisan. Fungsi teras boleh dimodelkan sebagai masalah pengoptimuman: $\text{Maximize } U = \sum_{r \in R} (w_r \cdot u_r(\text{alloc}_r)) \text{ subject to } \text{alloc}_r \leq \text{cap}_r, \forall r \in R$, di mana $U$ ialah utiliti keseluruhan, $R$ ialah set jenis sumber, $w_r$ ialah pemberat, $u_r$ ialah fungsi utiliti untuk jenis sumber $r$, $\text{alloc}_r$ ialah kapasiti diperuntukkan, dan $\text{cap}_r$ ialah jumlah kapasiti.

4.2 Persekutuan Penyimpanan: dCache & XRootD

dCache: Sistem pengurusan penyimpanan berhierarki, sering digunakan sebagai frontend untuk arkib pita. Ia menyediakan antara muka seperti POSIX (NFS, WebDAV) dan protokol khusus HEP (xrootd, gridftp).
XRootD: Protokol dan suite untuk akses data boleh skala dan toleran ralat. Komponen "redirector"-nya membolehkan pembinaan persekutuan di mana pertanyaan pelanggan dihalakan ke pelayan data yang sesuai.
Persekutuan mewujudkan lapisan logik yang mempersembahkan berbilang contoh fizikal sebagai satu sistem, penting untuk penjadualan yang sedar lokasi data.

4.3 Penghantaran Perisian & Data: Kontena & CVMFS

Kontena: Memastikan persekitaran perisian boleh hasil semula merentasi sistem hos yang pelbagai. Ia merangkumi kebergantungan kompleks (contohnya, versi spesifik ROOT, Geant4).
CVMFS: Sistem fail teragih global untuk pengedaran perisian. Ia menggunakan HTTP dan caching agresif. Kandungannya diterbitkan sekali dan tersedia di mana-mana, menyelesaikan masalah penyebaran perisian pada skala besar. Proses penerbitan melibatkan pelayan "stratum 0" dan replikasi ke cermin "stratum 1".

5. Status Prototaip & Pengalaman Awal

Kertas kerja melaporkan bahawa prototaip untuk kedua-dua Compute4PUNCH dan Storage4PUNCH telah disebarkan. Aplikasi saintifik awal telah berjaya dilaksanakan pada prototaip yang tersedia, menunjukkan kebolehgunaan konsep tersebut. Metrik prestasi spesifik atau kajian kes terperinci tidak disediakan dalam abstrak, tetapi pelaksanaan yang berjaya mengesahkan pendekatan integrasi dan timbunan teknologi yang dipilih.

7. Analisis Asal: Wawasan Teras, Aliran Logik, Kekuatan & Kelemahan, Wawasan Boleh Tindak

Wawasan Teras: PUNCH4NFDI tidak membina superkomputer baharu; ia mengorkestrasi simfoni instrumen sedia ada yang berbeza-beza. Inovasi sebenarnya terletak pada lapisan-meta—"konduktor orkestra" yang terdiri daripada COBalD/TARDIS dan protokol persekutuan—yang mencipta kolam sumber bersatu tanpa menuntut keseragaman daripada pembekal asas. Ini merupakan langkah bijak strategik untuk kerjasama pelbagai institusi yang kompleks secara politik, mengingatkan paradigma pembelajaran bersekutu dalam AI (seperti dalam kerja Google mengenai Federated Averaging) di mana data kekal teragih, tetapi model dikumpulkan.

Aliran Logik: Seni bina mengikuti pemisahan kebimbangan yang jelas. 1) Akses & Identiti: AAI berasaskan token mengesahkan pengguna. 2) Abstraksi Pengkomputeran: Pengguna menghantar kerja ke HTCondor. COBalD/TARDIS memantau barisan, memutuskan backend mana (contohnya, kluster HPC universiti) mempunyai kapasiti, dan menyebarkan kerja perintis untuk "menuntut" sumber tersebut untuk kolam HTCondor. Kerja pengguna sebenar kemudian berjalan dalam perintis ini. 3) Persekitaran Perisian: Kerja menarik timbunan perisian spesifiknya melalui CVMFS atau dari daftar kontena. 4) Akses Data: Kerja membaca/menulis data melalui lapisan penyimpanan bersekutu (dCache/XRootD), yang mengalihkan permintaan ke lokasi data sebenar.

Kekuatan & Kelemahan: Kekuatan pragmatisme tidak dapat dinafikan. Dengan membungkus sistem sedia ada, ia mencapai kebolehsebaran pantas dan sokongan daripada pemilik sumber. Penggunaan timbunan teknologi terbukti HEP (disahkan oleh kejayaan Worldwide LHC Computing Grid CERN) adalah pengurang risiko utama. Walau bagaimanapun, kelemahan terletak pada kerumitan semula jadi lapisan penjadualan-meta. COBalD/TARDIS mesti membuat keputusan peruntukan pintar merentasi sistem heterogen dengan polisi, kos (contohnya, kredit awan), dan profil prestasi yang berbeza. Polisi yang tidak ditala dengan baik boleh membawa kepada penggunaan sumber yang tidak cekap atau kebuluran kerja. Tambahan pula, walaupun persekutuan penyimpanan menyediakan akses bersatu, ciri pengurusan data lanjutan seperti pengindeksan ruang nama global, persekutuan katalog metadata, dan penempatan data pintar (serupa dengan idea dalam sistem fail selari Lustre atau penyelidikan mengenai penjenamaan data automatik) nampaknya merupakan item penilaian masa depan, mewakili batasan semasa.

Wawasan Boleh Tindak: Untuk konsortium lain (contohnya, dalam bioinformatik atau sains iklim), pengambilannya adalah untuk melabur secara besar-besaran dalam reka bentuk penjadual-meta dan lapisan abstraksi dari hari pertama. Pendekatan PUNCH mencadangkan bermula dengan persekutuan minimum boleh hidup menggunakan teknologi stabil seperti HTCondor, daripada cuba membina dari kosong. Pembekal sumber harus dilibatkan dengan keperluan jelas, minimum seperti API (contohnya, "mesti menyokong SSH atau arahan sistem kelompok tertentu"). Yang penting, projek mesti membangunkan alat pemantauan dan audit yang teguh untuk lapisan bersekutu itu sendiri—memahami penggunaan merentasi tapak dan mendiagnosis kegagalan dalam rantaian kompleks ini akan menjadi keutamaan operasi. Peta jalan masa depan harus menangani secara eksplisit integrasi pengurus aliran kerja (seperti Nextflow atau Apache Airflow) dan pembangunan perkhidmatan caching dan metadata yang dinilai untuk beralih daripada persekutuan mudah kepada logistik data pintar yang dioptimumkan prestasi.

8. Butiran Teknikal & Kerangka Matematik

Masalah peruntukan sumber yang ditangani oleh COBalD/TARDIS boleh dirangka sebagai pengoptimuman dalam talian. Biarkan $Q(t)$ menjadi barisan kerja tertunda dalam HTCondor pada masa $t$, setiap satu dengan anggaran masa jalan $\hat{r}_i$ dan vektor permintaan sumber $\vec{c}_i$ (CPU, memori, GPU). Biarkan $B$ menjadi set backend, setiap satu dengan kapasiti tersedia berubah masa $\vec{C}_b(t)$ dan fungsi kos $f_b(\vec{c}, \Delta t)$ untuk memperuntukkan sumber $\vec{c}$ untuk tempoh $\Delta t$. Matlamat penjadual-meta adalah untuk meminimumkan purata masa pusing ganti kerja $T_{ta}$ sambil menghormati polisi backend dan kekangan belanjawan. Peraturan keputusan heuristik ringkas untuk melancarkan perintis pada backend $b$ boleh jadi: $\text{Spawn if } \frac{|\{j \in Q(t): \vec{c}_j \preceq \vec{C}_b(t)\}|}{\text{Cost}_b} > \theta$, di mana $\preceq$ menandakan "muat dalam", $\text{Cost}_b$ ialah kos ternormal, dan $\theta$ ialah ambang. Ini menangkap pertukaran antara permintaan barisan dan kos peruntukan.

9. Keputusan Eksperimen & Metrik Prototaip

Walaupun abstrak PDF yang disediakan tidak termasuk keputusan kuantitatif spesifik, prototaip yang berjaya membayangkan hasil kualitatif utama dan kuantitatif berpotensi:

• Kejayaan Fungsian: Menunjukkan keupayaan untuk menghantar satu kerja melalui HTCondor/JupyterHub dan melaksanakannya secara telus pada sumber HPC atau HTC jauh, dengan perisian dari CVMFS dan data dari penyimpanan bersekutu.
• Metrik Utama untuk Dikesan (Masa Depan):
  • Kadar Kejayaan Kerja: Peratusan kerja yang berjaya diselesaikan merentasi persekutuan.
  • Purata Masa Tunggu: Masa dari penghantaran ke permulaan, berbanding dengan barisan backend asli.
  • Penggunaan Sumber: Jam-CPU agregat yang disampaikan merentasi kolam bersekutu.
  • Kecekapan Pemindahan Data: Throughput dan kependaman untuk kerja yang mengakses penyimpanan jauh melalui lapisan persekutuan.
• Penerangan Gambarajah: Gambarajah seni bina konseptual akan menunjukkan: Pengguna berinteraksi dengan JupyterHub/Nod Log Masuk. Ini bersambung ke Pengurus Pusat HTCondor. Komponen COBalD/TARDIS berinteraksi dengan kedua-dua HTCondor dan berbilang Backend Sumber (Kluster HPC A, Ladang HTC B, Awan C). Setiap backend mempunyai sistem kelompok tempatan (SLURM, PBS, dll.). Anak panah menunjukkan penghantaran kerja dan penyebaran perintis. Bahagian berasingan menunjukkan Penyimpanan Bersekutu (contoh dCache, XRootD) disambungkan ke backend dan boleh diakses oleh kerja. Cermin CVMFS Stratum 1 ditunjukkan sebagai lapisan yang boleh diakses oleh semua backend.

10. Kerangka Analisis: Contoh Aliran Kerja Konseptual

Skenario: Seorang ahli fizik astrozarah perlu memproses 1,000 imej teleskop menggunakan saluran paip analisis kompleks tersuai (berasaskan Python/ROOT).

1. Kemasukan Pengguna: Penyelidik log masuk ke PUNCH JupyterHub.
2. Persediaan Persekitaran: Dalam buku nota Jupyter, mereka memilih kernel pra-takrif yang disokong oleh kontena Singularity yang mengandungi timbunan perisian spesifik mereka (diterbitkan ke CVMFS).
3. Definisi Kerja: Mereka menulis skrip yang mentakrifkan tugas analisis dan menggunakan pustaka pembantu PUNCH untuk mencipta huraian penghantaran HTCondor, menentukan CPU, memori, dan rujukan data input yang diperlukan (contohnya, `root://fed-storage.punch.org/path/to/images_*.fits`).
4. Penghantaran & Penjadualan: Kerja dihantar ke kolam HTCondor. COBalD/TARDIS, melihat 1,000 kerja pendek, memutuskan untuk melancarkan berbilang kerja perintis pada ladang berbilang-tugas tinggi (Backend B) dengan cache penyimpanan tempatan pantas untuk data input.
5. Pelaksanaan: Perintis menuntut slot pada Backend B. Setiap perintis menarik kontena, mengambil fail input yang ditetapkan melalui persekutuan XRootD (yang mungkin mengalihkan ke cache tempatan), melaksanakan analisis, dan menulis keputusan kembali ke penyimpanan bersekutu.
6. Pelengkap: HTCondor mengagregat status pelengkap kerja. Buku nota penyelidik kini boleh meminta dan menggambarkan keputusan dari lokasi penyimpanan output.

Contoh ini menyerlahkan abstraksi lengkap: pengguna tidak pernah perlu tahu tentang arahan SLURM pada Backend B, cara memasang ROOT di sana, atau lokasi fizikal fail data.

11. Aplikasi Masa Depan & Peta Jalan Pembangunan

Infrastruktur PUNCH4NFDI meletakkan asas untuk aplikasi transformatif:

• Aliran Kerja Astrofizik Multi-Pembawa: Analisis korelasi masa nyata antara data gelombang graviti (LIGO/Virgo), neutrino (IceCube), dan balai cerap elektromagnet, memerlukan pengkomputeran segera merentasi sumber teragih geografi.
• Latihan Model AI/ML pada Skala: Eksperimen pembelajaran bersekutu di mana proses latihan itu sendiri diagihkan merentasi persekutuan pengkomputeran, dengan model dikumpulkan secara pusat—selari pengkomputeran dengan persekutuan data.
• Kembar Digital Eksperimen Kompleks: Menjalankan ensemble simulasi besar-besaran untuk mencipta rakan sejawat digital pengesan zarah atau tatasusunan teleskop, memanfaatkan HPC untuk simulasi dan HTC untuk imbasan parameter.

Peta Jalan Pembangunan:

1. Jangka Pendek (1-2 tahun): Memantapkan penyebaran gred pengeluaran perkhidmatan teras Compute4PUNCH dan Storage4PUNCH. Mengintegrasikan pemantauan lanjutan (Prometheus/Grafana) dan alat pengebilan/perakaunan.
2. Jangka Sederhana (3-4 tahun): Melaksanakan dan mengintegrasikan perkhidmatan caching dan katalog metadata global yang dinilai. Membangunkan integrasi lebih ketat dengan sistem pengurusan aliran kerja. Meneroka "letusan" ke awan komersial semasa permintaan puncak.
3. Jangka Panjang (5+ tahun): Berkembang ke arah "data lakehouse pintar" untuk sains PUNCH, menggabungkan penemuan data, penjejakan asal usul, dan pengurusan kitar hayat data automatik dikuasai oleh metadata bersekutu. Berfungsi sebagai cetak biru untuk konsortium NFDI lain dan kerjasama antarabangsa.

12. Rujukan

1. Konsortium PUNCH4NFDI. (2024). Kertas Putih PUNCH4NFDI. [Dokumentasi Rasmi Konsortium].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Krebs, K., et al. (2022). COBalD/TARDIS – A dynamic resource provisioning framework for heterogeneous computing environments. Journal of Physics: Conference Series, 2438(1), 012045. (Rujukan untuk penjadual-meta).
4. Blomer, J., et al. (2011). The CernVM File System. Journal of Physics: Conference Series, 331(5), 052004. https://doi.org/10.1088/1742-6596/331/5/052004
5. Kolaborasi dCache. (2023). dCache.org [Perisian dan Dokumentasi]. https://www.dcache.org
6. Kolaborasi XRootD. (2023). Dokumentasi XRootD. http://xrootd.org/docs.html
7. McMahan, B., Moore, E., Ramage, D., Hampson, S., & y Arcas, B. A. (2017). Communication-Efficient Learning of Deep Networks from Decentralized Data. Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS). (Dirujuk untuk analogi pembelajaran bersekutu).
8. European Organization for Nuclear Research (CERN). (2023). Worldwide LHC Computing Grid (WLCG). https://wlcg.web.cern.ch (Dirujuk sebagai preseden untuk persekutuan berskala besar).