Miungano ya Miundombinu ya Hesabu na Hifadhi ya Aina Mbalimbali kwa PUNCH4NFDI

1. Utangulizi na Muhtasari

PUNCH4NFDI (Chembe, Ulimwengu, Nyuklia na Hadroni kwa Miundombinu ya Kitaifa ya Data ya Utafiti) ni ushirikiano mkubwa wa Ujerumani unaofadhiliwa na DFG (Deutsche Forschungsgemeinschaft). Unawakilisha takriban wanasayansi 9,000 kutoka jamii za fizikia ya chembe, nyota, chembe za nyota, hadroni, na nyuklia. Lengo kuu la ushirikiano ni kuanzisha jukwaa la data ya sayansi lenye muungano, FAIR (Inayopatikana, Inayoweza kufikiwa, Inayoweza kushirikishwa, Inayoweza kutumika tena). Changamoto kuu inayoshughulikiwa katika karatasi hii ni muungano wa rasilimali za hesabu (HPC, HTC, Wingu) na hifadhi zenye aina mbalimbali zinazotolewa "kwa namna ya asili" na taasisi wanachama kote Ujerumani, kila moja ikiwa na miundo tofauti, mkusanyiko wa programu, na sera za ufikiaji.

Ili kukabiliana na hili, dhana za Compute4PUNCH na Storage4PUNCH zilitengenezwa. Hizi zinalenga kutoa ufikiaji usio na mwisho, uwazi, na umoja kwa miundombinu hii iliyosambazwa, ikipunguza usumbufu kwa mifumo ya uendeshaji iliyopo.

Ushirikiano Kwa Ufupi

Wanasayansi Wanaowakilishwa: ~9,000 Shahada ya Uzamivu
Taasisi Muhimu: Thüringer Landessternwarte, Chuo Kikuu cha Bonn, KIT, Chuo Kikuu cha Bielefeld, DESY
Ufadhili: DFG, kipindi cha awali cha miaka 5
Dhamira Kuu: Jenga jukwaa la data na hesabu lenye muungano, FAIR

2. Miungano ya Miundombinu ya Hesabu ya Aina Mbalimbali (Compute4PUNCH)

Dhana ya Compute4PUNCH inashughulikia changamoto ya kutumia kwa ufanisi mkusanyiko wa rasilimali za HTC, HPC, na Wingu zenye miundo tofauti, OS, na mifumo ya uthibitishaji.

2.1 Muundo Mkuu na Changamoto ya Ujumuishaji

Kizuizi kikuu ni kanuni ya "usumbufu mdogo". Rasilimali tayari zinafanya kazi na kushirikiwa, kwa hivyo marekebisho kwa mifumo ya watoaji lazima yawe madogo. Suluhisho ni mfumo wa kifuniko unaounganisha rasilimali bila kuhitaji mabadiliko makubwa kwenye mkusanyiko wao wa asili wa usimamizi.

2.2 Teknolojia Muhimu na Vipengele

Mfumo wa Kundi wa Kifuniko: HTCondor inatumika kama mpangaji mkuu wa kazi wenye muungano, akiumbiza dimbwi moja kutoka kwa rasilimali tofauti.
Mpangaji-Meta wa Rasilimali: COBalD/TARDIS hujumuisha kwa nguvu na uwazi rasilimali zenye aina mbalimbali (k.m., foleni za HPC, VM za wingu) kwenye dimbwi la HTCondor. Hufanya kazi kama mfumo wa "rubani", kudai rasilimali kwa niaba ya watumiaji.
Mazingira ya Programu: Teknolojia za kontena (k.m., Docker, Singularity) na CERN Virtual Machine File System (CVMFS) huhakikisha utoaji wa programu unaoweza kuongezeka, unaoweza kurudiwa, na maalum kwa jamii kwenye nodi zote.
Uthibitishaji na Idhini: Miundombinu ya Uthibitishaji na Idhini (AAI) yenye msingi wa tokeni hutoa ufikiaji wa kiwango, muhimu kwa mazingira ya taasisi nyingi.

2.3 Ufikiaji na Kiolesura cha Mtumiaji

Watumiaji huingiliana na mfumo wenye muungano kupitia sehemu za kuingilia zilizozoeleka:

Nodi za Kuingia za Kitamaduni: Ufikiaji wa SSH kwa mifumo ya lango.
JupyterHub: Kiolesura cha wavuti kinachotoa ufikiaji wa kuingiliana kwa rasilimali za hesabu na data, ikipunguza kikwazo cha kuingia kwa uchambuzi tata.

3. Miungano ya Miundombinu ya Hifadhi (Storage4PUNCH)

Sambamba na hesabu, Storage4PUNCH inalenga kuunganisha mifumo ya hifadhi inayotolewa na jamii.

3.1 Mkakati wa Muungano wa Hifadhi

Mkakati huu unatumia teknolojia zilizothibitishwa kutoka kwa jamii ya Fizikia ya Nishati ya Juu (HEP) kuunda jina la umoja na safu ya ufikiaji kwa hifadhi iliyosambazwa.

3.2 Mkusanyiko wa Teknolojia na Ujumuishaji

Teknolojia Kuu za Hifadhi: Kimsingi dCache na XRootD. Hizi hutumiwa sana katika HEP kwa kusimamia data ya kiwango cha petabyte kwenye tovuti zilizosambazwa.
Safu ya Muungano: Mifumo huingizwa kwenye miundombinu ya kawaida, ikionyesha mfumo wa faili moja ya kimantiki kwa watumiaji.
Vipengele vya Juu Vinavyotathminiwa: Ujumuishaji wa teknolojia za kuhifadhi kwa kumbukumbu (kupunguza ucheleweshaji/upana wa bendi) na mifumo ya usimamizi wa metadata kwa ajili ya ugunduzi na usimamizi bora wa data, kwa lengo la ujumuishaji wa kina zaidi ya ufikiaji rahisi wa faili.

4. Utekelezaji wa Kiufundi na Maelezo

4.1 Mfano wa Hisabati kwa Upangaji wa Rasilimali

Changamoto kuu ya upangaji inaweza kuchukuliwa kama shida ya uboreshaji. Acha $R = \{r_1, r_2, ..., r_n\}$ iwe seti ya rasilimali zenye aina mbalimbali, kila moja ikiwa na sifa kama muundo $(arch_i)$, viini vinavyopatikana $(c_i)$, kumbukumbu $(m_i)$, na gharama/kipaumbele $(p_i)$. Acha $J = \{j_1, j_2, ..., j_m\}$ iwe seti ya kazi zenye mahitaji $(c^{req}_j, m^{req}_j, arch^{req}_j)$.

Mpangaji-meta (COBalD/TARDIS) analenga kuongeza matumizi au utendaji wa jumla, ambao unaweza kuonyeshwa kama: $$\text{Ongeza } U = \sum_{j \in J} \sum_{r \in R} x_{jr} \cdot u(j, r)$$ chini ya vikwazo: $$\sum_{j} x_{jr} \cdot c^{req}_j \leq c_r, \quad \sum_{j} x_{jr} \cdot m^{req}_j \leq m_r, \quad x_{jr} \in \{0,1\}$$ ambapo $x_{jr}=1$ ikiwa kazi $j$ imepangwa kwenye rasilimali $r$, na $u(j,r)$ ni kitendakazi cha matumizi kinacholinganisha mahitaji ya kazi na uwezo na sera za rasilimali. Hii inafanana na shida ya kupakia mabakuli au shida ya mkoba yenye vipimo vingi, inayojulikana katika fasihi ya upangaji wa gridi/wingu.

4.2 Matokeo ya Prototayp na Utendaji

Karatasi hii inataja "uzoefu wa kwanza na programu za kisayansi zikitekelezwa kwenye prototayp zilizopo." Ingawa viwango maalum vya kiasi havitoiwi katika muhtasari, utekelezaji uliofanikiwa unamaanisha:

Ujumuishaji wa Kitendaji: Kifuniko cha HTCondor/COBalD/TARDIS kiliwasilisha na kusimamia kazi kwa mafanikio kwenye mifumo tofauti ya nyuma (foleni za kundi za HPC, mashamba ya HTC).
Utoaji wa Programu: CVMFS na kontena zilitoa kwa uaminifu mazingira ya programu muhimu kwenye nodi za wafanyakazi tofauti.
Mtiririko wa Kazi wa AAI: AAI yenye msingi wa tokeni iliruhusu watumiaji kutoka taasisi moja kufikia rasilimali kwenye nyingine bila usumbufu.

Dhana ya Mchoro (Muundo Ulioelezwa): Mchoro wa kimantiki ungeonyesha Sehemu za Kuingilia za Mtumiaji (JupyterHub, Nodi za Kuingia) zikiunganisha kwenye "Safu ya Muungano" ya kati. Safu hii inajumuisha HTCondor (Mpangaji wa Hesabu) na Muungano wa Hifadhi (dCache/XRootD). Chini ya safu hii, "Tovuti Kadhaa za Rasilimali" (Tovuti A, B, C...) zinaonyeshwa, kila moja ikiwa na rasilimali za HPC, HTC, au Wingu za ndani na hifadhi, zikiunganishwa kupitia wakala wa COBalD/TARDIS na itifaki za hifadhi. Data inapita kutoka kwa hifadhi yenye muungano hadi kwenye rasilimali za hesabu kupitia mitandao ya kasi ya juu.

5. Mfumo wa Uchambuzi na Utafiti wa Kesi

Utafiti wa Kesi: Uchambuzi wa Astrofizikia ya Ujumbe Mbalimbali

Hali: Mtafiti anahitaji kulinganisha seti kubwa ya data kutoka kwa darubini ya neutrino (iliyohifadhiwa kwenye mfano wa dCache huko DESY) na data ya uchunguzi wa anga wa macho (iliyohifadhiwa kwenye mfumo wa XRootD huko Tautenburg) na kuendesha modeli ya mashine ya kujifunza kwa ajili ya uainishaji.

Mtiririko wa Kazi katika Mfumo wa PUNCH4NFDI:

Ufikiaji na Ugunduzi: Mtafiti anaingia kwenye huduma ya JupyterHub kwa kutumia tokeni ya AAI ya ushirikiano.
Ufikiaji wa Data: Kupitia jina la umoja la Storage4PUNCH, wanafikia seti zote mbili za data za mbali kana kwamba zilikuwa faili za ndani (/punche/data/neutrino/event_set.h5, /punche/data/optical/survey_catalog.fits).
Uwasilishaji wa Kazi ya Hesabu: Wanaandika hati ya uchambuzi (Python na PyTorch). Hati inabainisha mahitaji ya rasilimali: GPU 4, RAM GB 64, na picha maalum ya kontena (registry.punch4nfdi.de/astroml:v2.1).
Upangaji: Kwa kuwasilisha kupitia HTCondor, COBalD/TARDIS hutambua rasilimali zinazopatikana zinazolingana na mahitaji—labda nodi za GPU kwenye kundi la HPC la KIT na wingu la Bielefeld.
Utekelezaji: Kontena inavutwa kupitia CVMFS, data inasukumwa kutoka kwa hifadhi yenye muungano, na kazi inaendeshwa. Mtafiti anafuatilia maendeleo kupitia kiolesura cha JupyterHub au amri za HTCondor.

Hii inaonyesha dhana ya "bila usumbufu": mtumiaji anashughulika na mfumo mmoja, sio utata wa miundombinu ya taasisi 5+ tofauti.

6. Uchambuzi Muhimu na Ufahamu wa Mtaalamu

Ufahamu Mkuu: PUNCH4NFDI haijengi kompyuta mpya ya hali ya juu; inabuni safu ya muungano yenye busara ya kisiasa na kiufundi isiyo ya kawaida. Uvumbuzi wake wa kweli uko katika amri ya "usumbufu mdogo", ambayo inakubali utawala wa watoaji wa rasilimali walio wapo—ukweli usioweza kubadilishwa katika sayansi ya Ujerumani inayofadhiliwa na umma. Hii inafanya iwe siyo mradi wa teknolojia ya kipeo bali mradi tata wa "gundi", unaolenga kutoa thamani kutoka kwa mgawanyiko.

Mtiririko wa Kimantiki na Sababu za Kimkakati: Mantiki ni sahihi: 1) Kubali tofauti kama hali ya kudumu, 2) Tumia programu-jalizi zilizojaribiwa, zinazokubaliwa na jamii (HTCondor, dCache, XRootD) kupunguza hatari na kukuza utumiaji, 3) Leta upangaji wa kisasa (COBalD/TARDIS, kontena) kusimamia tofauti, 4) Toa milango rahisi kwa mtumiaji (JupyterHub) kuficha utata wa msingi. Hii inafuata mpango uliofanikiwa wa Gridi ya Hesabu ya Ulimwengu ya LHC (WLCG) lakini inaipanua kwa seti ya sayansi na aina za rasilimali tofauti zaidi.

Nguvu na Kasoro:
Nguvu: Chaguo za teknolojia ni bora. HTCondor ina uwezo wa kuongezeka uliothibitishwa kwa miongo kadhaa. COBalD/TARDIS, ikitoka HEP, imejengwa kwa makusudi kwa utoaji huu wenye nguvu na tofauti. CVMFS ndio kiwango cha dhahabu cha usambazaji wa programu katika sayansi yenye data nyingi. Mwelekeo kwa AAI ni muhimu kwa uaminifu wa kuvuka taasisi.
Kasoro/Hatari Kubwa: Tembo katika chumba ni mzigo wa ziada wa utendaji na utata. Mfumo wa kifuniko huongeza ucheleweshaji na sehemu za kushindwa. Upangaji kwenye sera tofauti kabisa za HPC (muda wa kungoja foleni, mipaka ya saa ya ukuta) ni ndoto mbaya ambayo COBalD/TARDIS lazima itawale. Ukosefu wa data ngumu ya utendaji katika karatasi hii unaelezea—uthibitisho utakuwa katika utendaji endelevu kwenye mizigo ya uzalishaji, sio kukimbia kwa prototayp. Zaidi ya hayo, wakati kuhifadhi kwa kumbukumbu "kinatathminiwa", mienendo ya data kati ya hifadhi yenye muungano na tovuti za hesabu inaweza kuwa kikwazo kikubwa, ikikumbusha changamoto zilizokabiliwa katika hesabu za gridi za mapema. Ripoti ya 2023 kutoka kwa Wingu wa Sayansi ya Wazi ya Ulaya (EOSC) kuhusu "Uwezo wa Kufanya Kazi Pamoja kwa Miundombinu ya Utafiti" inasisitiza kwamba usafiri wa data bila usumbufu bado ni changamoto 5 bora kwa muungano kama huo.

Ufahamu Unaoweza Kutekelezwa: Kwa ushirikiano mwingine unaojaribu muungano sawa: 1. Kipaumbele Sera Kuliko Teknolojia: Pata makubaliano ya kisheria ya kushiriki rasilimali na sera za AAI kwanza. Teknolojia ndio sehemu rahisi. 2. Weka Vifaa Vyote Tangu Siku ya Kwanza: Tumia ufuatiliaji kamili (kama Grafana/Prometheus) kupima mzigo wa ziada wa ulimwengu halisi, viwango vya mafanikio ya kazi, na ufanisi wa uhamishaji wa data. Data hii ni muhimu kwa kuthibitisha thamani ya muungano. 3. Panga kwa "Kia Mkia Mrefu": Watumiaji wa awali watakuwa wataalamu wa hesabu. Ili kuwahudumia kikamilifu wanasayansi 9,000, wekeza sana kwenye mfumo wa JupyterHub, mtiririko wa kazi wa kiolezo, na mafunzo ya jamii kuwaleta watafiti wengi ambao wanahitaji nguvu lakini hawana ujuzi wa usimamizi wa mfumo. Mafanikio ya miradi kama mpango wa "Milango ya Sayansi" wa NSF ya Marekani yanasisitiza hitaji hili. 4. Angalia Zaidi ya Teknolojia ya HEP: Ingawa dCache/XRootD ni imara, pia tathmini violezo vya kiolesura vya hifadhi ya kitu vya asili ya wingu (S3) kwa uwezo wa kufanya kazi pamoja na mawingu ya kibiashara na nyanja zingine za kisayansi, kama ilivyopendekezwa na karatasi nyeupe ya "Hifadhi ya Asili ya Wingu" ya CNCF.

7. Matumizi ya Baadaye na Mpango wa Maendeleo

Miundombinu ya PUNCH4NFDI inaweka msingi wa mwelekeo kadhaa wa juu wa baadaye:

Muunganiko na Wingu na Ukingo: Mfumo huu unaweza kujumuisha kwa urahisi mipasuko ya wingu ya kibiashara (AWS, GCP, Azure) kupitia COBalD/TARDIS kwa mahitaji ya kilele, na uwezekano wa tovuti za hesabu za ukingo karibu na vyombo (k.m., vifaa vya darubini) kwa ajili ya kuchuja kwa wakati halisi.
Upangaji wa Mizigo ya AI/ML: Usaidizi ulioimarishwa kwa makundi yenye nguvu, yanayobadilika kwa mafunzo ya ML yaliyosambazwa (k.m., kujumuisha waendeshaji wa Kubernetes na kifuniko cha HTCondor) na hifadhi zilizokusanywa za mifano iliyofunzwa awali kwenye hifadhi yenye muungano.
Muunganiko wa Data na Hesabu Yenye Nguvu: Kuendelea zaidi ya ufikiaji rahisi wa faili. Kazi ya baadaye inaweza kuwezesha mifano ya "kitendakazi-kama-huduma" ambapo msimbo wa uchambuzi unatumwa kwenye eneo la data (kutokana na dhana ya "Data Karibu na Kazi" katika miradi kama Wingu wa Sayansi ya Wazi ya Ulaya).
Muungano wa Kuvuka Ushirikiano: PUNCH4NFDI inaweza kutumika kama kiolezo cha kuungana na ushirikiano mwingine wa NFDI (k.m., kwa sayansi ya uhai au utafiti wa hali ya hewa), na kuunda utando wa kweli wa kitaifa wa utafiti. Hii inahitaji kazi kwenye AAI ya kuvuka nyanja na miundo ya metadata.
Mfumo wa Kudumu: Kukuza mfumo wazi wa uendeshaji wa muda mrefu na ufadhili zaidi ya ruzuku ya awali ya miaka 5 ya DFG, uwezekano wa kujumuisha ushiriki wa gharama au utaratibu wa uhasibu kati ya taasisi kulingana na matumizi ya rasilimali.

8. Marejeo

Ushirikiano wa PUNCH4NFDI. (2024). Karatasi Nyeupe ya PUNCH4NFDI: Kuelekea Jukwaa la Data ya Sayansi la FAIR. (Hati ya Ndani ya Ushirikiano).
Thain, D., Tannenbaum, T., & Livny, M. (2005). Hesabu iliyosambazwa kwa vitendo: uzoefu wa Condor. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
Shirika la Wingu wa Sayansi ya Wazi ya Ulaya (EOSC). (2023). Ripoti ya Mfumo wa Uwezo wa Kufanya Kazi Pamoja wa EOSC. https://www.eosc.eu/advisory-groups/interoperability
Blomer, J., et al. (2011). Usambazaji wa programu na CernVM-FS. Journal of Physics: Conference Series, 331(4), 042003. https://doi.org/10.1088/1742-6596/331/4/042003
Cloud Native Computing Foundation (CNCF). (2022). Hifadhi ya Asili ya Wingu: Karatasi Nyeupe. https://www.cncf.io/reports/cloud-native-storage-whitepaper/
National Science Foundation. (2021). Taasisi ya Jamii ya Milango ya Sayansi: Ripoti ya Mwaka. https://sciencegateways.org
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Tafsiri ya Picha hadi Picha Isiyo na Jozi kwa kutumia Mtandao wa Kupingana Yenye Mzunguko Thabiti. Katika Matokeo ya mkutano wa kimataifa wa IEEE wa kompyuta (ukurasa 2223-2232). (Iliyotajwa kama mfano wa algoriti tata, yenye mzigo wa rasilimali ambayo ingefaidika na miundombinu yenye muungano kama hiyo).