Compute4PUNCH & Storage4PUNCH: Infrastruktur Teragih untuk Fizik Zarah, Astro- dan Nuklear

1. Pengenalan

Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure (PUNCH4NFDI) ialah sebuah konsortium Jerman yang dibiayai oleh DFG (Deutsche Forschungsgemeinschaft). Ia mewakili kira-kira 9,000 saintis daripada komuniti fizik zarah, astro-, astro-zarah, hadron, dan nuklear. Matlamat utama konsortium ini adalah untuk membina platform data sains teragih dan FAIR (Findable, Accessible, Interoperable, Reusable). Platform ini bertujuan menyediakan akses bersepadu kepada pelbagai sumber pengiraan dan storan heterogen yang disumbangkan oleh institusi ahlinya di seluruh Jerman, bagi menangani cabaran umum menganalisis jumlah data yang berkembang secara eksponen dengan algoritma yang kompleks.

2. Infrastruktur Pengiraan Heterogen Teragih – Compute4PUNCH

Konsep Compute4PUNCH menangani cabaran menyediakan akses lancar kepada pelbagai sumber High-Throughput Compute (HTC), High-Performance Compute (HPC), dan Awan yang disumbangkan secara in-kind. Sumber-sumber ini berbeza dari segi seni bina, OS, perisian, dan pengesahan, serta sudah beroperasi dan dikongsi, yang memerlukan pendekatan integrasi yang tidak mengganggu.

3. Infrastruktur Storan Teragih – Storage4PUNCH

Selari dengan pengiraan, konsep Storage4PUNCH menggabungkan sistem storan yang dibekalkan oleh komuniti, terutamanya berasaskan teknologi dCache dan XRootD, yang telah mantap dalam Fizik Tenaga Tinggi (HEP).

4. Butiran Teknikal & Kerangka Matematik

Cabaran penjadualan teras boleh dimodelkan sebagai masalah pengoptimuman sumber. Biarkan $R = \{r_1, r_2, ..., r_n\}$ mewakili set sumber heterogen, setiap satu dengan atribut seperti seni bina, teras tersedia $c_i$, ingatan $m_i$, dan masa tunggu giliran $w_i$. Biarkan $J = \{j_1, j_2, ..., j_m\}$ mewakili tugas dengan keperluan $\hat{c}_j, \hat{m}_j$.

Penyusun meta (COBalD/TARDIS) bertujuan untuk memaksimumkan utiliti atau daya pemprosesan keseluruhan. Fungsi objektif ringkas untuk penempatan tugas mungkin untuk meminimumkan masa penyiapan atau memaksimumkan penggunaan sumber, dengan mengambil kira kekangan:

$\text{Minimize } \max_{r \in R} (\text{completionTime}(r))$

dengan syarat: $\sum_{j \in J_r} \hat{c}_j \leq c_r \quad \text{dan} \quad \sum_{j \in J_r} \hat{m}_j \leq m_r \quad \forall r \in R$

di mana $J_r$ ialah set tugas yang ditetapkan kepada sumber $r$. Sifat dinamik ini dikendalikan oleh TARDIS, yang "memperdaya" HTCondor untuk melihat sumber jauh sebagai sebahagian daripada kolam tempatannya.

5. Keputusan Eksperimen & Status Prototaip

Kertas kerja ini melaporkan status semasa dan pengalaman pertama dengan aplikasi saintifik pada prototaip yang tersedia. Walaupun nombor penanda aras khusus tidak diperincikan dalam petikan yang diberikan, pelaksanaan berjaya beban kerja saintifik sebenar diimplikasikan. Integrasi HTCondor dengan COBalD/TARDIS telah ditunjukkan dapat mengintegrasikan sumber dari domain pentadbiran yang berbeza secara dinamik. Akses pengguna awal melalui JupyterHub dan AAI berasaskan token telah diuji, memberikan bukti konsep untuk titik kemasukan bersepadu. Penggunaan CVMFS telah disahkan untuk menyampaikan persekitaran perisian yang diperlukan di seluruh infrastruktur teragih.

6. Kerangka Analisis: Kajian Kes Konseptual

Pertimbangkan analisis astrofizik multi-pembawa mesej yang mencari pasangan neutrino untuk letupan sinar gama. Aliran kerja melibatkan:

1. Penemuan Data: Seorang penyelidik menggunakan katalog metadata teragih (sedang dinilai dalam Storage4PUNCH) untuk mencari data peristiwa neutrino yang relevan dari IceCube dan data sinar gama dari Fermi-LAT, yang disimpan dalam contoh dCache di DESY dan Bielefeld.
2. Penyerahan Aliran Kerja: Melalui antara muka JupyterHub, penyelidik mentakrifkan analisis sapuan parameter. Keperluan tugas (perisian: Python, suite perisian IceCube melalui CVMFS; pengiraan: 1000 jam-CPU) ditentukan.
3. Orkestrasi: Lapisan atas HTCondor, dipandu oleh COBalD/TARDIS, secara dinamik memadankan dan menghantar ratusan tugas ke slot yang tersedia di seluruh HPC KIT, HTC Bonn, dan sumber awan. Token AAI mengendalikan pengesahan dengan lancar.
4. Pelaksanaan & Akses Data: Tugas menarik perisian dari CVMFS, membaca data input terus dari storan teragih melalui pintu XRootD, dan menulis hasil pertengahan ke ruang storan sementara.
5. Penggabungan Keputusan: Keputusan akhir digabungkan dan ditulis semula ke repositori kekal yang mematuhi FAIR dalam persekutuan Storage4PUNCH.

Kajian kes ini menunjukkan nilai tawaran: seorang saintis berinteraksi dengan sistem tunggal yang koheren untuk memanfaatkan sumber heterogen yang tersebar di peringkat negara tanpa mengurus kerumitan asas.

7. Prospek Aplikasi & Hala Tuju Masa Depan

Infrastruktur gabungan Compute4PUNCH dan Storage4PUNCH mempunyai potensi yang besar di luar komuniti PUNCH awal:

• Persekutuan Rentas Domain: Model ini boleh diperluaskan kepada konsortium NFDI lain atau inisiatif European Open Science Cloud (EOSC), mewujudkan infrastruktur teragih pan-Eropah yang sebenar.
• Integrasi Pengkomputeran Pinggir: Untuk bidang seperti astronomi radio atau pemantauan pengesan, mengintegrasikan sumber pengiraan pinggir berhampiran sensor boleh menjadi langkah logik seterusnya.
• Sokongan Beban Kerja AI/ML: Meningkatkan penjadual untuk menyokong sumber GPU/pemecut dan kerangka kerja seperti Kubernetes untuk tugas latihan ML berskala besar secara asli.
• Pengurusan Data Lanjutan: Integrasi lebih mendalam bagi penempatan data pintar, pengurusan kitaran hayat, dan katalog metadata aktif untuk mengoptimumkan aliran kerja intensif data.
• Hibrid Pengkomputeran Kuantum: Apabila pengkomputeran kuantum matang, persekutuan boleh menggabungkan pemproses kuantum sebagai sumber khusus untuk langkah algoritma tertentu.

Kejayaan persekutuan ini akan bergantung pada pembiayaan mampan, keteguhan operasi, dan sokongan berterusan komuniti terhadap model teragih berbanding pengoptimuman tempatan.

8. Rujukan

1. Konsortium PUNCH4NFDI. "PUNCH4NFDI – Particles, Universe, NuClei and Hadrons for the NFDI." Kertas Putih, 2021.
2. Thain, D., Tannenbaum, T., & Livny, M. "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356, 2005.
3. Blomer, J., et al. "CernVM-FS: delivering scientific software to globally distributed computing resources." Journal of Physics: Conference Series, 396(5), 052018, 2012.
4. Fuhrmann, P., & Gulzow, V. "dCache, storage system for the future." In European Conference on Parallel Processing (pp. 1106-1113). Springer, Berlin, Heidelberg, 2006.
5. XRootD Collaboration. "XRootD – A highly scalable architecture for data access." WSEAS Transactions on Computers, 10(11), 2011.
6. Isard, M., et al. "Quincy: fair scheduling for distributed computing clusters." In Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles (pp. 261-276), 2009. (Untuk konteks teori penjadualan).
7. Wilkinson, M. D., et al. "The FAIR Guiding Principles for scientific data management and stewardship." Scientific data, 3(1), 1-9, 2016.

9. Analisis Asal: Inti Pati, Aliran Logik, Kekuatan & Kelemahan, Panduan Tindakan

Inti Pati: PUNCH4NFDI tidak membina superkomputer baharu; ia merekayasa lapisan persekutuan dengan gangguan minimum yang boleh dilaksanakan. Ini adalah respons pragmatik dan bijak secara politik terhadap kekangan dunia sebenar landskap pengkomputeran penyelidikan Jerman yang terpecah dan dimiliki komuniti. Inovasi sebenar terletak bukan pada teknologi individu—HTCondor, dCache, CVMFS telah teruji—tetapi pada orkestrasi mereka ke dalam sistem kebangsaan yang koheren dengan AAI berasaskan token sebagai perekat. Ia adalah strategi "rangkaian lapisan atas" klasik yang diaplikasikan kepada infrastruktur siber, mengingatkan bagaimana internet sendiri dibina di atas rangkaian fizikal yang pelbagai. Apabila European Open Science Cloud (EOSC) bergelut dengan cabaran persekutuan yang serupa, pendekatan PUNCH menawarkan cetak biru operasi yang konkrit.

Aliran Logik: Logiknya mudah dan meyakinkan: 1) Terima heterogeniti sebagai keadaan kekal, bukan masalah untuk dihapuskan. 2) Gunakan penjadualan meta ringan (COBalD/TARDIS) untuk mencipta kolam maya, mengelakkan keperluan mengubah suai penjadual tempatan yang telah berakar (SLURM, PBS, dll.). 3) Pisahkan pengurusan identiti dan akses melalui token, mengelakkan mimpi ngeri mendamaikan akaun institusi. 4) Pisahkan perisian dari infrastruktur melalui CVMFS/kontena. 5) Gunakan logik persekutuan yang sama untuk storan. Alirannya adalah dari kesederhanaan yang menghadap pengguna (JupyterHub) turun melalui lapisan abstraksi kepada kerumitan asas.

Kekuatan & Kelemahan: Kekuatan terbesar ialah kebolehpasangan praktikal. Dengan menuntut perubahan minimum dari pembekal sumber, ia menurunkan halangan penyertaan, yang penting untuk memulakan konsortium. Memanfaatkan alat HEP yang matang memastikan kebolehpercayaan dan mengurangkan risiko pembangunan. Walau bagaimanapun, kelemahan terletak pada pertukaran. Model lapisan atas boleh memperkenalkan overhead prestasi dalam penghantaran tugas dan akses data berbanding sistem yang diintegrasikan dengan ketat. Abstraksi "penyebut sepunya terendah" mungkin menghadkan akses kepada ciri unik sistem HPC tertentu. Yang paling kritikal, model kemampanan jangka panjang belum terbukti—siapa yang membayar untuk penyelarasan pusat, penyelenggaraan penjadual meta, dan sokongan pengguna? Projek ini berisiko membina prototaip cemerlang yang layu selepas pembiayaan DFG awal 5 tahun.

Panduan Tindakan: Untuk konsortium lain, pengambilan utama adalah untuk mulakan dengan tadbir urus dan integrasi ringan, bukan reka bentuk teknikal yang besar. 1) Segera gunakan AAI berasaskan token; ia adalah pemangkin asas. 2) Utamakan pengalaman pengguna (JupyterHub) untuk mendorong penerimaan; saintis tidak akan menggunakan sistem yang rumit. 3) Instrumenkan semua dari hari pertama. Untuk mendapatkan pembiayaan masa depan, mereka mesti menjana metrik yang meyakinkan tentang peningkatan penggunaan sumber, kerjasama rentas institusi, dan daya pemprosesan saintifik. 4) Rancang untuk "persekutuan kedua"—bagaimana untuk bersambung dengan konsortium NFDI lain atau EOSC. Seni bina teknikal harus direka secara eksplisit untuk persekutuan bersarang. Akhirnya, mereka mesti membangunkan model perkongsian kos yang jelas untuk perkhidmatan pusat, beralih dari geran projek kepada model pembiayaan operasi koperasi seperti WLCG (Worldwide LHC Computing Grid). Teknologi sudah sedia; cabaran berkekalan adalah sosio-teknikal.