Compute4PUNCH & Storage4PUNCH: Miundombinu ya Shirikisho kwa Fizikia ya Chembe, Anga, na Nyuklia

1. Utangulizi

Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure (PUNCH4NFDI) ni ushirika wa Kijerumani unaofadhiliwa na DFG (Deutsche Forschungsgemeinschaft). Unawakilisha takriban wanasayansi 9,000 kutoka jamii za fizikia ya chembe, anga, chembe za anga, hadroni, na nyuklia. Lengo kuu la ushirika huo ni kuanzisha jukwaa la data ya kisayansi la shirikisho na la FAIR (Inapatikana, Inafikiwa, Inaendana, Inatumika tena). Jukwaa hili linalenga kutoa ufikiaji wa umoja kwa rasilimali tofauti za hesabu na hifadhi zinazotolewa na taasisi zake wanachama kote Ujerumani, kukabiliana na changamoto ya kawaida ya kuchambua kiasi cha data kinachokua kwa kasi kwa kutumia algoriti changamano.

2. Miundombinu ya Shirikisho ya Hesabu Tofauti – Compute4PUNCH

Dhana ya Compute4PUNCH inakabiliana na changamoto ya kutoa ufikiaji wa laini kwa anuwai ya rasilimali za Hesabu ya Uzalishaji wa Juu (HTC), Hesabu ya Utendaji wa Juu (HPC), na wingu zinazotolewa kwa namna ya mchango. Rasilimali hizi hutofautiana katika usanifu, OS, programu, na uthibitishaji, na tayari zinafanya kazi na kushirikiwa, na kuhitaji njia ya ushirikishaji isiyo ya kuingilia.

3. Miundombinu ya Shirikisho ya Hifadhi – Storage4PUNCH

Sambamba na hesabu, dhana ya Storage4PUNCH inaunganisha mifumo ya hifadhi inayotolewa na jamii, hasa inayotegemea teknolojia za dCache na XRootD, ambazo zimeimarika katika Fizikia ya Nishati ya Juu (HEP).

4. Maelezo ya Kiufundi na Mfumo wa Hisabati

Changamoto kuu ya upangaji inaweza kuigwa kama tatizo la uboreshaji wa rasilimali. Acha $R = \{r_1, r_2, ..., r_n\}$ iwakilishe seti ya rasilimali tofauti, kila moja ikiwa na sifa kama usanifu, viini vinavyopatikana $c_i$, kumbukumbu $m_i$, na muda wa kungoja kwenye foleni $w_i$. Acha $J = \{j_1, j_2, ..., j_m\}$ iwakilishe kazi zilizo na mahitaji $\hat{c}_j, \hat{m}_j$.

Kipanga-rasilimali meta (COBalD/TARDIS) kinakusudia kuongeza matumizi au ufanisi wa jumla. Kazi rahisi ya uwekaji wa kazi inaweza kuwa kupunguza muda wa kukamilisha au kuongeza matumizi ya rasilimali, kwa kuzingatia vikwazo:

$\text{Punguza } \max_{r \in R} (\text{mudaWaKukamilisha}(r))$

chini ya: $\sum_{j \in J_r} \hat{c}_j \leq c_r \quad \text{na} \quad \sum_{j \in J_r} \hat{m}_j \leq m_r \quad \forall r \in R$

ambapo $J_r$ ni seti ya kazi zilizopangiwa rasilimali $r$. Hali ya nguvu inashughulikiwa na TARDIS, ambayo "hudanganya" HTCondor kuona rasilimali za mbali kama sehemu ya hifadhi yake ya ndani.

5. Matokeo ya Majaribio na Hali ya Mfano wa Kwanza

Karatasi hiyo inaripoti hali ya sasa na uzoefu wa kwanza na matumizi ya kisayansi kwenye mifano ya kwanza inayopatikana. Ingawa nambari maalum za kiwango hazijaelezwa kwa kina katika dondoo lililotolewa, utekelezaji wa mizigo halisi ya kisayansi umedokezwa. Ushirikishaji wa HTCondor na COBalD/TARDIS umeonyeshwa kuunganisha rasilimali kutoka maeneo tofauti ya usimamizi kwa nguvu. Ufikiaji wa awali wa mtumiaji kupitia JupyterHub na AAI inayotegemea ishara umejaribiwa, na kutoa uthibitisho wa dhana kwa kituo cha kuingilia cha umoja. Matumizi ya CVMFS yamethibitishwa kwa kutoa mazingira muhimu ya programu katika miundombinu yote ya shirikisho.

6. Mfumo wa Uchambuzi: Mfano wa Kufikiria

Fikiria uchambuzi wa anga wa ujumbe mwingi unaotafuta sambamba za neutrino kwa milipuko ya mionzi gamma. Mtiririko wa kazi unajumuisha:

1. Ugunduzi wa Data: Mtafiti anatumia orodha ya metadata ya shirikisho (inayokaguliwa katika Storage4PUNCH) kupata data husika ya tukio la neutrino kutoka IceCube na data ya mionzi gamma kutoka Fermi-LAT, iliyohifadhiwa katika mifano ya dCache huko DESY na Bielefeld.
2. Uwasilishaji wa Mtiririko wa Kazi: Kupitia kiolesura cha JupyterHub, mtafiti anafafanua uchambuzi wa kufagia parameta. Mahitaji ya kazi (programu: Python, mkusanyiko wa programu ya IceCube kupitia CVMFS; hesabu: saa 1000 za CPU) yamebainishwa.
3. Uratibu: Overlay ya HTCondor, ikiongozwa na COBalD/TARDIS, inalinganisha kwa nguvu na kupeleka mamia ya kazi kwenye nafasi zilizopo katika HPC ya KIT, HTC ya Bonn, na rasilimali za wingu. Ishara AAI inashughulikia uthibitishaji kwa urahisi.
4. Utekelezaji na Ufikiaji wa Data: Kazi huchukua programu kutoka CVMFS, kusoma data ya pembejeo moja kwa moja kutoka kwa hifadhi ya shirikisho kupitia milango ya XRootD, na kuandika matokeo ya kati kwenye nafasi ya hifadhi ya muda.
5. Muunganisho wa Matokeo: Matokeo ya mwisho yanaunganishwa na kuandikwa tena kwenye hifadhi ya kudumu, inayofuata kanuni za FAIR, ndani ya shirikisho la Storage4PUNCH.

Mfano huu unaonyesha thamani ya pendekezo hili: mwanasayansi anaingiliana na mfumo mmoja, thabiti ili kutumia rasilimali tofauti zilizosambazwa kitaifa bila kusimamia utata wa msingi.

7. Matarajio ya Matumizi na Mwelekeo wa Baadaye

Miundombinu ya pamoja ya Compute4PUNCH na Storage4PUNCH ina uwezo mkubwa zaidi ya jamii za awali za PUNCH:

• Shirikisho la Vikoa Mbalimbali: Muundo huu unaweza kupanuliwa kwa ushirika mwingine wa NFDI au mipango ya European Open Science Cloud (EOSC), na kuunda miundombinu ya shirikisho ya kweli ya Uropa yote.
• Ushirikishaji wa Hesabu ya Ukingo: Kwa nyanja kama unajimu wa redio au ufuatiliaji wa vigunduzi, ushirikishaji wa rasilimali za hesabu za ukingo karibu na visensa unaweza kuwa hatua inayofuata ya kimantiki.
• Usaidizi wa Mizigo ya AI/ML: Kuboresha kipanga-rasilimali ili kusaidia kiasili rasilimali za GPU/vihimili na mifumo kama Kubernetes kwa kazi za mafunzo makubwa ya ML.
• Usimamizi wa Data wa Hali ya Juu: Ushirikishaji wa kina wa uwekaji wa data wenye akili, usimamizi wa mzunguko wa maisha, na orodha hai za metadata ili kuboresha mtiririko wa kazi wenye data nyingi.
• Mchanganyiko wa Hesabu ya Quantum: Kadiri hesabu ya quantum inavyokomaa, shirikisho linaweza kujumuisha vichakataji vya quantum kama rasilimali maalum kwa hatua maalum za algoriti.

Mafanikio ya shirikisho hili yatategemea ufadhili endelevu, uthabiti wa uendeshaji, na uendelevu wa ushiriki wa jamii kwenye muundo wa shirikisho badala ya uboreshaji wa ndani.

8. Marejeo

1. Ushirika wa PUNCH4NFDI. "PUNCH4NFDI – Particles, Universe, NuClei and Hadrons for the NFDI." Karatasi Nyeupe, 2021.
2. Thain, D., Tannenbaum, T., & Livny, M. "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356, 2005.
3. Blomer, J., et al. "CernVM-FS: delivering scientific software to globally distributed computing resources." Journal of Physics: Conference Series, 396(5), 052018, 2012.
4. Fuhrmann, P., & Gulzow, V. "dCache, storage system for the future." In European Conference on Parallel Processing (uk. 1106-1113). Springer, Berlin, Heidelberg, 2006.
5. XRootD Collaboration. "XRootD – A highly scalable architecture for data access." WSEAS Transactions on Computers, 10(11), 2011.
6. Isard, M., et al. "Quincy: fair scheduling for distributed computing clusters." In Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles (uk. 261-276), 2009. (Kwa muktadha wa nadharia ya upangaji).
7. Wilkinson, M. D., et al. "The FAIR Guiding Principles for scientific data management and stewardship." Scientific data, 3(1), 1-9, 2016.

9. Uchambuzi wa Asili: Uelewa Mkuu, Mtiririko wa Mantiki, Nguvu na Mapungufu, Uelewa Unaoweza Kutekelezwa

Uelewa Mkuu: PUNCH4NFDI haijengi kompyuta mpya ya hali ya juu; inabuni safu ya shirikisho ya kuingilia kwa chini kabisa inayowezekana. Hii ni jibu la kimapinduzi, lenye busara ya kisiasa kwa kizuizi cha ulimwengu halisi cha mandhari ya hesabu ya utafiti ya Ujerumani iliyogawanyika na inayomilikiwa na jamii. Uvumbuzi wa kweli hauko katika teknolojia binafsi—HTCondor, dCache, CVMFS zimejaribiwa—lakini katika uratibu wao kuwa mfumo thabiti wa kitaifa na AAI inayotegemea ishara kama gundi. Ni mkakati wa kawaida wa "mtandao wa ziada" unaotumika kwa miundombinu ya kidijitali, ukikumbusha jinsi mtandao wa intaneti ulivyojengwa juu ya mitandao tofauti ya kimwili. Kadiri European Open Science Cloud (EOSC) inavyokabiliana na changamoto sawa za shirikisho, njia ya PUNCH inatoa mpango halisi, wa uendeshaji.

Mtiririko wa Mantiki: Mantiki hii ni rahisi yenye mvuto: 1) Kubali tofauti kama hali ya kudumu, sio tatizo la kuondolewa. 2) Tumia upangaji meta mwepesi (COBalD/TARDIS) kuunda hifadhi ya mtandaoni, na kuepuka hitaji la kurekebisha vipanga-rasilimali vya ndani vilivyokazwa (SLURM, PBS, n.k.). 3) Tenga utambulisho na usimamizi wa ufikiaji kupitia ishara, na kuepuka janga la kurekebisha akaunti za taasisi. 4) Tenga programu kutoka kwa miundombinu kupitia CVMFS/kontena. 5) Tumia mantiki ile ile ya shirikisho kwa hifadhi. Mtiririko huu ni kutoka kwa urahisi unaokabiliana na mtumiaji (JupyterHub) chini kupitia safu za utoaji hadi utata wa msingi.

Nguvu na Mapungufu: Nguvu kubwa sana ni uwezekano wa kutekelezwa kwa vitendo. Kwa kuhitaji mabadiliko madogo kutoka kwa watoa rasilimali, inapunguza kikwazo cha kushiriki, ambacho ni muhimu kwa kuanzisha ushirika. Kutumia zana zilizokomaa za HEP kuhakikisha uaminifu na kupunguza hatari ya ukuzaji. Hata hivyo, mapungufu yako katika usawa. Muundo wa overlay unaweza kuanzisha mzigo wa utendaji katika upelekaji wa kazi na ufikiaji wa data ikilinganishwa na mfumo uliounganishwa kwa nguvu. Utoaji wa "kiwango cha chini kabisa cha kawaida" unaweza kupunguza ufikiaji wa vipengele vya kipekee vya mifumo maalum ya HPC. Muhimu zaidi, muundo wa uendelevu wa muda mrefu haujathibitishwa—nani analipa kwa uratibu wa kati, matengenezo ya kipanga-rasilimali meta, na usaidizi wa watumiaji? Mradi huu una hatari ya kujenga mfano wa kwanza mzuri ambao unaweza kufa baada ya ufadhili wa awali wa miaka 5 wa DFG.

Uelewa Unaoweza Kutekelezwa: Kwa ushirika mwingine, ujumbe muhimu ni anza na utawala na ushirikishaji mwepesi, sio upyaaji mkubwa wa kiufundi. 1) Mara moja tumia AAI inayotegemea ishara; ndio kiwezeshaji cha msingi. 2) Kipa kipaumbele uzoefu wa mtumiaji (JupyterHub) ili kuendesha matumizi; wanasayansi hawatumii mfumo mgumu. 3) Weka alama kwa kila kitu kutoka siku ya kwanza. Ili kupata ufadhili wa baadaye, lazima wazalisha viwango vya kulazimisha juu ya kuongezeka kwa matumizi ya rasilimali, ushirikiano wa taasisi mbalimbali, na ufanisi wa kisayansi. 4) Panga kwa "shirikisho la pili"—jinsi ya kuunganishwa na ushirika mwingine wa NFDI au EOSC. Usanifu wa kiufundi unapaswa kubuniwa wazi kwa shirikisho lililowekwa ndani. Hatimaye, lazima waunde muundo wazi wa kugawana gharama kwa huduma za kati, na kuondoka kwenye ruzuku za miradi hadi muundo wa ufadhili wa uendeshaji wa ushirika kama WLCG (Worldwide LHC Computing Grid). Teknolojia iko tayari; changamoto endelevu ni ya kijamii na kiufundi.