Compute4PUNCH & Storage4PUNCH: Miundombinu ya Shirikisho kwa Fizikia ya Chembe, Nyota na Nyuklia

1. Utangulizi

Ushirikiano wa PUNCH4NFDI (Chembe, Ulimwengu, Nyuklia na Hadroni kwa Miundombinu ya Kitaifa ya Data ya Utafiti), unaofadhiliwa na Shirika la Utafiti la Ujerumani (DFG), linawakilisha takriban wanasayansi 9,000 kutoka jamii za fizikia ya chembe, nyota, chembe za nyota, hadroni na nyuklia nchini Ujerumani. Kikiwa ndani ya mpango wa kitaifa wa NFDI, lengo lake kuu ni kuanzisha jukwaa la data ya sayansi la shirikisho na la FAIR (Inayopatikana, Inayoweza Kufikiwa, Inayoweza Kuingiliana, Inayoweza Kutumiwa Tena). Jukwaa hili linalenga kutoa ufikiaji wa laini kwa rasilimali mbalimbali za kompyuta na hifadhi zinazotolewa na taasisi zake wanachama, kukabiliana na changamoto ya kawaida ya kuchambua kiasi cha data kinachokua kwa kasi na algoriti tata. Hati hii inaelezea kwa kina dhana za Compute4PUNCH na Storage4PUNCH zilizoundwa kushirikisha rasilimali hizi.

2. Miundombinu ya Shirikisho ya Kompyuta Mbalimbali – Compute4PUNCH

Compute4PUNCH inakabiliana na changamoto ya kutumia kwa ufanisi aina mbalimbali za rasilimali za Kompyuta za Uzalishaji wa Juu (HTC), Kompyuta za Utendaji wa Juu (HPC) na wingu zilizotolewa kwa namna ya vifaa na zilizosambazwa kote Ujerumani. Rasilimali hizi hutofautiana katika usanifu, OS, programu na uthibitishaji, na tayari zinafanya kazi kwa madhumuni mengine, na hivyo kudhibiti upeo wa marekebisho.

3. Miundombinu ya Shirikisho ya Hifadhi – Storage4PUNCH

Storage4PUNCH inalenga kushirikisha mifumo ya hifadhi inayotolewa na jamii, hasa kwa msingi wa teknolojia za dCache na XRootD, ambazo zimeimarika katika Fizikia ya Nishati ya Juu (HEP). Ushirikiano huunda jina la kawaida la nafasi na safu ya ufikiaji. Dhana pia inatathmini teknolojia zilizopo kwa:

• Uhifadhi wa Kumbukumbu: Kuboresha ucheleweshaji wa ufikiaji wa data na kupunguza trafiki ya WAN, sawa na dhana zinazotumiwa katika gridi za data za kimataifa kama Gridi ya Kompyuta ya Ulimwengu ya LHC (WLCG).
• Uchakataji wa Metadata: Kukusudia kuunganishwa kwa kina ili kuwezesha ugunduzi wa data kulingana na sifa za metadata, na kuendelea zaidi ya eneo rahisi la faili.

Mazingira ya pamoja ya Compute4PUNCH na Storage4PUNCH yanawezesha watafiti kutekeleza kazi za uchambuzi zinazohitaji rasilimali nyingi ambazo zinahitaji ufikiaji wa pamoja kwa nguvu ya kompyuta na seti kubwa za data.

4. Maelezo ya Kiufundi na Mfumo wa Hisabati

Upangaji wa rasilimali na COBalD/TARDIS unaweza kuonyeshwa kama shida ya ubora. Acha $J = \{j_1, j_2, ..., j_n\}$ iwe seti ya kazi kwenye foleni ya HTCondor, na $P = \{p_1, p_2, ..., p_m\}$ iwe hifadhi ya rasilimali zinazopatikana (za ndani na za nje). Kila kazi $j_i$ ina mahitaji $R_i$ (viini vya CPU, kumbukumbu, GPU, programu). Kila rasilimali $p_k$ ina uwezo $C_k$ na kazi ya gharama $\text{Cost}(p_k, t)$, ambayo inaweza kuwa ya kifedha au kwa msingi wa kipaumbele/mikopo.

Lengo la mpangaji-juu ni kupata ramani $M: J \rightarrow P$ ambayo inapunguza gharama ya jumla au muda wa kukamilika huku ikikidhi vikwazo: $$\text{minimize } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{subject to } R_i \subseteq C_{M(j_i)} \text{ for all } j_i \in J.$$ COBalD hutumia mikakati ya heuristiki au kujifunza kwa mashine kutatua shida hii ya ubora ya wakati halisi inayobadilika kadiri kazi na upatikanaji wa rasilimali vinavyobadilika.

5. Matokeo ya Majaribio na Utendaji wa Mfano

Karatasi hii inaripoti juu ya uzoefu wa awali na programu za kisayansi kwenye mifano iliyopo. Ingawa nambari maalum za kigeuzi hazijaelezwa kwa kina katika dondoo lililotolewa, utekelezaji wa mafanikio wa programu mbalimbali za jamii unathibitisha usanifu. Viashiria muhimu vya utendaji (KPI) kwa ushirikiano kama huu kwa kawaida ni pamoja na:

• Uzalishaji wa Kazi: Idadi ya kazi zinazokamilika kwa siku katika mfumo wa shirikisho.
• Matumizi ya Rasilimali: Asilimia ya wakati ambayo rasilimali zilizotolewa (hasa za nje, zinazoweza kupanuka) zinatumiwa kikamilifu, ikionyesha ufanisi wa utoaji wa nguvu wa COBalD.
• Ufanisi wa Uhamishaji wa Data: Ucheleweshaji na upana wa ukanda wa kazi zinazofikia data kutoka kwa ushirikiano wa Storage4PUNCH, muhimu kwa uchambuzi wenye mzigo mkubwa wa I/O.
• Uridhishaji wa Mtumiaji: Kupunguzwa kwa utata wa kuwasilisha kazi na muda wa kusubiri, kupimwa kupitia uchunguzi wa watumiaji.

Hatua ya mfano ni muhimu kwa jaribio la msongo wa kuunganishwa kwa AAI, uthabiti wa safu ya juu ya HTCondor, na uwezo wa kupanuka wa CVMFS katika kutoa programu kwa maelfu ya kazi zinazoendelea wakati mmoja.

6. Mfumo wa Uchambuzi: Mfano wa Matumizi

Mfano: Mtafiti wa fizikia ya nyuklia anahitaji kuchakata data ya Petabyte 1 ya kigunduzi kwa kutumia mnyororo tata wa uigaji wa Monte Carlo.

1. Ufikiaji: Mtafiti anaingia kwenye PUNCH JupyterHub kwa hati zake za taasisi (kupitia AAI ya tokeni).
2. Programu: Daftari lake linapakia kiotomatiki rundo linalohitajika la programu kutoka CVMFS na kuanzisha kikombo na maktaba maalum za uigaji.
3. Data: Msimbo wa daftari unarejelea data kwa kutumia jina la nafasi la shirikisho la Storage4PUNCH (k.m., `root://punch-federation.de/path/to/data`). Itifaki za XRootD zinashughulikia eneo na uhamishaji.
4. Kompyuta: Mtafiti anawasilisha kazi 10,000 sambamba kupitia kifuniko cha Python kinachounganisha na API ya REST ya HTCondor. COBalD/TARDIS hutoa kwa nguvu mchanganyiko wa wafanyakazi wa ndani wa HTCondor na nodi za wingu za HPC zinazopanuka kushughulikia mzigo wa kilele.
5. Uratibu: HTCondor inadhibiti mzunguko wa maisha ya kazi. Matokeo yanaandikwa tena kwenye hifadhi ya shirikisho. Mtafiti anafuatilia maendeleo kupitia dashibodi ya JupyterHub.

Mfano huu unaonyesha kuunganishwa kwa laini ambayo mfumo unalenga, na kuficha utata wa miundombinu.

7. Matumizi ya Baadaye na Ramani ya Maendeleo

Miundombinu ya PUNCH4NFDI ni mfano wa ushirikiano wa utafiti wa kiwango cha kitaifa.

• Ushirikiano wa Kuvuka Ushirikiano: Mfano huu unaweza kupanuliwa hadi ushirikiano mwingine wa NFDI (k.m., kwa sayansi ya maisha, uhandisi), na kuunda msingi wa kweli wa Miundombinu ya Kitaifa ya Data ya Utafiti. Makubaliano ya kuvuka ushirikiano ya AAI na kushiriki rasilimali yangekuwa muhimu.
• Kuunganishwa kwa Rasilimali za Ukingo na Quantum: Kadiri kompyuta ya ukingo (kwa usindikaji wa awali wa data ya vyombo) na kompyuta ya quantum zinavyokomaa, usanifu wa mpangaji-juu unaweza kupanuliwa kuzijumuishha kama aina maalum za rasilimali.
• Ubora wa Mizigo ya AI/ML: Algoriti za upangaji zinaweza kuunganisha viashiria vya muda wa kukimbia kwa kazi za AI/ML (sawa na mbinu katika miradi kama `Optuna` au `Ray Tune`) ili kuboresha zaidi uwekaji, hasa kwa rasilimali za GPU.
• Metadata Iliyoboreshwa na Mabwawa ya Data: Uunganishaji wa kina wa orodha za metadata unaweza kubadilisha Storage4PUNCH kuwa bwawa la data lenye nguvu, na kuwezesha upangaji unaozingatia data ambapo kazi za kompyuta hutumwa kwenye eneo la data.
• Kuzingatia Uendelevu: Toleo la baadaye linaweza kuboresha kwa athari ya kaboni, likipanga kipaumbele kazi kwenye vituo vya data vilivyo na mchanganyiko wa juu wa nishati mbadala, na kulingana na mpango wa Kompyuta ya Kijani unaoonwa katika miradi kama `European Green Deal`.

8. Marejeo

1. Ushirikiano wa PUNCH4NFDI. (2024). "Karatasi Nyeupe ya PUNCH4NFDI." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Kompyuta iliyosambazwa kwa vitendo: uzoefu wa Condor." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). "COBalD/TARDIS – Utoaji wa rasilimali wenye uhodari kwa hifadhi za HTCondor." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). "Mfumo wa Faili ya Mashine ya Mtandao ya CERN: Mfumo wa usambazaji wa programu unaoweza kupanuka, unaotegemeka na wenye ufanisi." Journal of Physics: Conference Series, 331(5), 052004.
5. Gridi ya Kompyuta ya Ulimwengu ya LHC (WLCG). "Ushirikiano wa Hifadhi na XRootD na dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). "Kanuni za Mwongozo za FAIR kwa usimamizi na utunzaji wa data ya kisayansi." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. Mtazamo wa Mchambuzi: Uelewa Mkuu, Mtiririko wa Mantiki, Nguvu na Mapungufu, Ufahamu Unaoweza Kutekelezwa

Uelewa Mkuu: PUNCH4NFDI haijengi kompyuta mpya ya hali ya juu; inajenga mfumo wa uendeshaji wa shirikisho. Uvumbuzi wake wa kweli ni mbinu ya vitendo, ya msingi wa safu ya juu ambayo hufunga rasilimali zilizopo, za kisera na mbalimbali za taasisi kuwa jukwaa moja, lenye urahisi kwa mtumiaji. Hii siyo kuhusu uvumbuzi wa teknolojia ghafi bali ni zaidi juu ya uratibu wa kijamii na kiufundi kwa kiwango cha kitaifa. Inakabiliana moja kwa moja na "msiba wa rasilimali za pamoja" katika kompyuta ya utafiti, ambapo rasilimali zimegawanyika na hazitumiki vyema, kwa kuunda soko linalodhibitiwa la mizunguko ya kompyuta na baiti za hifadhi.

Mtiririko wa Mantiki: Mantiki hii ni ya vitendo kabisa. 1) Kukubali Utofauti kama Mwanachama wa Daraja la Kwanza: Badala ya kulazimisha kiwango (jambo lisilowezekana kisiasa), wanaficha hilo kwa HTCondor na vyombo. 2) Kupunguza Mgogoro wa Mtoaji: Mfano wa COBalD/TARDIS ni wa kipekee—ni mpangaji wa vimelea ambao hauhitaji vituo vya HPC kubadilisha sera zao za ndani, na hivyo kufanya kupitishwa kuwa rahisi. 3) Kukuza Urahisi wa Mtumiaji: JupyterHub na token-AAI ndio vipengele vya kuvutia vya kupitishwa, vikificha utata mkubwa wa nyuma nyuma ya kichupo cha kivinjari. 4) Kutumia Imani ya Jamii: Kujenga juu ya zana za HEP zilizojaribiwa (dCache, XRootD, CVMFS) sio tu kiufundi sahihi; inatoa uaminifu wa papo hapo na kupunguza hatari ya uendeshaji.

Nguvu na Mapungufu: Nguvu yake ni uwezekano wake wa kutekelezwa. Hii sio ndoto ya karatasi ya utafiti; ni mfano unaofanya kazi kwa kutumia vipengele vya wazi vilivyokomaa. Dhamira ya hifadhi ya shirikisho, ikiwa itatimizwa kikamilifu na metadata, inaweza kuwa ya mageuzi. Hata hivyo, mapungufu yako katika mshono. Mizigo ya ziada ya utendaji wa safu ya mpangaji-juu na uhamishaji wa data wa eneo pana unaweza kufuta faida kwa programu za HPC zilizounganishwa kwa nguvu. Mfano huu kwa asili yake ni bora zaidi kwa mizigo ya uzalishaji wa juu, isiyounganishwa kwa nguvu. Pia kuna bomu la wakati la utawala: nani anapanga kipaumbele kazi wakati mahitaji yanazidi usambazaji wa shirikisho? Karatasi hii inapita juu ya mapigano ya kisiasa yasiyokwepa juu ya algoriti za haki-sawa na utambulisho wa gharama kati ya taasisi. Mwishowe, ingawa wanataja rasilimali za "Wingu", mfano wa kiuchumi wa kupanua hadi mawingu ya kibiashara (AWS, Google Cloud) kwa pesa halisi, sio mikopo tu, ni eneo lisilochunguzwa lenye hatari ya bajeti.

Ufahamu Unaoweza Kutekelezwa: 1) Kwa ushirikiano mwingine: Nakili mfano huu mara moja. Muundo wa usanifu unaweza kutumiwa tena. Anza na AAI na lango rahisi la kazi. 2) Kwa PUNCH4NFDI yenyewe: Chapisha data ngumu ya utendaji. Lazima waonyeshe kwa uwazi gharama ya ziada ya ushirikiano dhidi ya ufikiaji wa asili ili kujenga imani. 3) Undaa sera ya kina, ya pande nyingi ya haki-sawa SASA, kabla ya migogoro kujitokeza. Wahusishe wanasheria na wakaguzi wa hesabu, sio wataalamu wa fizikia tu. 4) Chunguza kuunganishwa na wasimamizi wa mtiririko wa kazi (Nextflow, Snakemake). Hizi zinakuwa kiwango cha ukweli kwa sayansi inayoweza kurudiwa; kuunganishwa kwa asili kungekuwa mafanikio makubwa. 5) Fikiria "Mfano wa Ukomaa wa Shirikisho" ili kuingiza watoaji wa rasilimali hatua kwa hatua, kutoka ufikiaji rahisi wa rununu hadi upangaji wa pamoja kamili wa data/kompyuta. Hii sio miundombinu tu; ni mfano mpya wa kuandaa uwezo wa kitaifa wa utafiti. Mafanikio yake yatategemea utawala na ushiriki wa jamii kiasi sawa na uzuri wa msimbo wake.