Compute4PUNCH & Storage4PUNCH: Parçacık, Astro- ve Nükleer Fizik için Federatif Altyapı

1. Giriş

Alman Araştırma Vakfı (DFG) tarafından finanse edilen PUNCH4NFDI (Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar) konsorsiyumu, Almanya'daki parçacık, astro-, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Ulusal NFDI girişimi içinde yer alan konsorsiyumun temel amacı, federatif ve FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu oluşturmaktır. Bu platform, üye kurumların katkıda bulunduğu çeşitli ve heterojen hesaplama ve depolama kaynaklarına sorunsuz erişim sağlamayı, üstel olarak büyüyen veri hacimlerini karmaşık algoritmalarla analiz etme ortak zorluğunu ele almayı amaçlamaktadır. Bu belge, bu kaynakları federatif hale getirmek için geliştirilen Compute4PUNCH ve Storage4PUNCH kavramlarını detaylandırmaktadır.

2. Federatif Heterojen Hesaplama Altyapısı – Compute4PUNCH

Compute4PUNCH, Almanya genelinde dağıtılmış olan ve ayni katkı olarak sağlanan çok çeşitli Yüksek Verimli Hesaplama (HTC), Yüksek Performanslı Hesaplama (HPC) ve Bulut kaynaklarını etkin bir şekilde kullanma zorluğunu ele almaktadır. Bu kaynaklar mimari, işletim sistemi, yazılım ve kimlik doğrulama açısından farklılık gösterir ve başka amaçlar için zaten faaliyettedir, bu da değişiklik yapma kapsamını sınırlar.

3. Federatif Depolama Altyapısı – Storage4PUNCH

Storage4PUNCH, ağırlıklı olarak Yüksek Enerji Fiziği'nde (HEP) iyi yerleşmiş dCache ve XRootD teknolojilerine dayanan, topluluk tarafından sağlanan depolama sistemlerini federatif hale getirmeye odaklanır. Federasyon, ortak bir ad alanı ve erişim katmanı oluşturur. Kavram ayrıca mevcut teknolojileri şunlar için değerlendirir:

• Önbellekleme: Veri erişim gecikmesini iyileştirmek ve geniş alan ağı trafiğini azaltmak için, Dünya Çapında LHC Hesaplama Şebekesi (WLCG) gibi küresel veri şebekelerinde kullanılan kavramlara benzer şekilde.
• Metaveri İşleme: Basit dosya konumunun ötesine geçerek, metaveri niteliklerine dayalı veri keşfini mümkün kılmak için daha derin entegrasyon hedeflenmektedir.

Birleşik Compute4PUNCH ve Storage4PUNCH ortamı, araştırmacıların hem hesaplama gücüne hem de büyük veri kümelerine koordineli erişim gerektiren kaynak yoğun analiz görevlerini yürütmesini sağlar.

4. Teknik Detaylar & Matematiksel Çerçeve

COBalD/TARDIS tarafından yapılan kaynak zamanlaması bir optimizasyon problemi olarak modellenebilir. $J = \{j_1, j_2, ..., j_n\}$ HTCondor kuyruğundaki bir iş kümesi ve $P = \{p_1, p_2, ..., p_m\}$ mevcut kaynakların (yerel ve harici) havuzu olsun. Her iş $j_i$'nin $R_i$ gereksinimleri (CPU çekirdekleri, bellek, GPU, yazılım) vardır. Her kaynak $p_k$'nın $C_k$ yetenekleri ve parasal veya öncelik/kredi temelli olabilen bir maliyet fonksiyonu $\text{Cost}(p_k, t)$ vardır.

Meta-zamanlayıcının amacı, kısıtları sağlarken toplam maliyeti veya tamamlanma süresini en aza indiren bir eşleme $M: J \rightarrow P$ bulmaktır: $$\text{minimize } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{subject to } R_i \subseteq C_{M(j_i)} \text{ for all } j_i \in J.$$ COBalD, işler ve kaynak kullanılabilirliği değiştikçe bu dinamik, çevrimiçi optimizasyon problemini çözmek için sezgisel veya makine öğrenimi stratejileri kullanır.

5. Deneysel Sonuçlar & Prototip Performansı

Makale, mevcut prototipler üzerindeki bilimsel uygulamalarla ilk deneyimler hakkında rapor vermektedir. Sağlanan alıntıda spesifik kıyaslama sayıları detaylandırılmamış olsa da, çeşitli topluluk uygulamalarının başarılı yürütülmesi mimariyi doğrulamaktadır. Böyle bir federasyon için temel performans göstergeleri (KPI'lar) tipik olarak şunları içerir:

• İş Verimi: Federatif sistem genelinde günlük tamamlanan iş sayısı.
• Kaynak Kullanımı: Katkıda bulunulan kaynakların (özellikle harici, patlama yapılabilir olanların) aktif olarak kullanıldığı zaman yüzdesi, COBalD dinamik sağlama verimliliğini gösterir.
• Veri Transfer Verimliliği: Storage4PUNCH federasyonundan veri erişen işler için gecikme ve bant genişliği, G/Ç ağırlıklı analizler için çok önemlidir.
• Kullanıcı Memnuniyeti: Azaltılmış iş gönderme karmaşıklığı ve bekleme süresi, kullanıcı anketleriyle ölçülür.

Prototip aşaması, AAI entegrasyonunun stres testi, HTCondor katmanının sağlamlığı ve CVMFS'nin binlerce eşzamanlı işe yazılım sunma ölçeklenebilirliği için çok önemlidir.

6. Analiz Çerçevesi: Bir Kullanım Senaryosu

Senaryo: Bir nükleer fizik araştırmacısı, karmaşık bir Monte Carlo simülasyon zinciri kullanarak 1 Petabayt dedektör verisini işlemek istemektedir.

1. Erişim: Araştırmacı, kurumsal kimlik bilgileriyle (token tabanlı AAI aracılığıyla) PUNCH JupyterHub'a giriş yapar.
2. Yazılım: Not defteri, gerekli yazılım yığınını otomatik olarak CVMFS'den bağlar ve spesifik simülasyon kütüphaneleriyle bir konteyner örneği oluşturur.
3. Veri: Not defteri kodu, verilere federatif Storage4PUNCH ad alanını kullanarak (ör. `root://punch-federation.de/path/to/data`) referans verir. XRootD protokolleri konum ve transferi halleder.
4. Hesaplama: Araştırmacı, HTCondor REST API'si ile arayüz oluşturan bir Python sarmalayıcı aracılığıyla 10.000 paralel iş gönderir. COBalD/TARDIS, tepe yükünü karşılamak için yerel HTCondor çalışanları ve patlama yapılabilir HPC bulut düğümlerinin bir karışımını dinamik olarak sağlar.
5. Orkestrasyon: HTCondor iş yaşam döngüsünü yönetir. Çıktı federatif depolamaya geri yazılır. Araştırmacı ilerlemeyi JupyterHub kontrol paneli üzerinden izler.

Bu senaryo, çerçevenin hedeflediği, altyapı karmaşıklığını soyutlayan sorunsuz entegrasyonu göstermektedir.

7. Gelecekteki Uygulamalar & Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, ulusal ölçekte araştırma federasyonu için bir şablondur.

• Konsorsiyumlar Arası Federasyon: Model, diğer NFDI konsorsiyumlarına (örn. yaşam bilimleri, mühendislik için) genişletilebilir, gerçek bir Ulusal Araştırma Veri Altyapısı belkemiği oluşturabilir. Konsorsiyumlar arası AAI ve kaynak paylaşım anlaşmaları kilit öneme sahip olacaktır.
• Kenar & Kuantum Kaynaklarının Entegrasyonu: Kenar bilgi işlem (cihaz verisi ön işleme için) ve kuantum bilgi işlem olgunlaştıkça, meta-zamanlayıcı mimarisi bunları özel kaynak türleri olarak dahil edecek şekilde genişletilebilir.
• Yapay Zeka/Makine Öğrenimi İş Yükü Optimizasyonu: Zamanlama algoritmaları, özellikle GPU kaynakları için yerleştirmeyi daha da optimize etmek amacıyla YZ/ML iş çalışma süreleri için tahmin edicileri (`Optuna` veya `Ray Tune` gibi projelerdeki yaklaşımlara benzer şekilde) entegre edebilir.
• Gelişmiş Metaveri & Veri Gölleri: Metaveri kataloglarının daha derin entegrasyonu, Storage4PUNCH'ı aktif bir veri gölüne dönüştürebilir ve hesaplama işlerinin verinin bulunduğu yere gönderildiği veri merkezli zamanlamayı mümkün kılabilir.
• Sürdürülebilirlik Odaklılık: Gelecek sürümler, karbon ayak izi için optimize edilebilir, işleri daha yüksek yenilenebilir enerji karışımına sahip veri merkezlerine tercihli olarak planlayarak, `Avrupa Yeşil Mutabakatı` gibi projelerde görülen Yeşil Bilişim girişimleriyle uyumlu hale gelebilir.

8. Referanslar

1. PUNCH4NFDI Konsorsiyumu. (2024). "PUNCH4NFDI Beyaz Kitap." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., vd. (2022). "COBalD/TARDIS – Agile resource provisioning for HTCondor pools." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., vd. (2011). "The CERN Virtual Machine File System: A scalable, reliable, and efficient software distribution system." Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). "Storage Federation with XRootD and dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., vd. (2016). "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. Analist Perspektifi: Temel İçgörü, Mantıksal Akış, Güçlü & Zayıf Yönler, Uygulanabilir Öngörüler

Temel İçgörü: PUNCH4NFDI yeni bir süper bilgisayar inşa etmiyor; bir federasyon işletim sistemi inşa ediyor. Gerçek yeniliği, mevcut, bürokratik ve heterojen kurumsal kaynakları tek, kullanıcı dostu bir platformda birleştiren pragmatik, katman tabanlı yaklaşımdır. Bu, ham teknolojik atılımdan ziyade, ulusal ölçekte sosyo-teknik bir orkestrasyonla ilgilidir. Araştırma hesaplamasındaki, kaynakların bölünmüş ve yetersiz kullanıldığı "ortak malların trajedisi" ile doğrudan yüzleşerek, hesaplama çevrimleri ve depolama baytları için yönetilen bir pazar yeri oluşturur.

Mantıksal Akış: Mantık kusursuz şekilde pragmatiktir. 1) Heterojenliği Birinci Sınıf Vatandaş Olarak Kabul Et: Standartlaştırmaya zorlamak (politik olarak başarısız olacak bir girişim) yerine, HTCondor ve konteynerlerle bunu soyutlarlar. 2) Sağlayıcı Sürtüşmesini En Aza İndir: COBalD/TARDIS modeli dahicedir—HPC merkezlerinin yerel politikalarını değiştirmesini gerektirmeyen, benimsemeyi cazip kılan parazitik bir zamanlayıcıdır. 3) Kullanıcı Basitliğini En Üst Düzeye Çıkar: JupyterHub ve token-AAI, benimseme için öldürücü özelliklerdir, muazzam arka uç karmaşıklığını bir tarayıcı sekmesinin arkasında gizler. 4) Topluluk Güveninden Yararlan: Savaşta test edilmiş HEP araçları (dCache, XRootD, CVMFS) üzerine inşa etmek sadece teknik olarak sağlam değildir; anında güvenilirlik sağlar ve operasyonel riski azaltır.

Güçlü & Zayıf Yönler: Güçlü yanı, dağıtılabilirliğidir. Bu bir araştırma makalesi fantazisi değil; olgun, açık kaynaklı bileşenler kullanan çalışan bir prototiptir. Metaveri ile tam olarak gerçekleştirilirse, federatif depolama vizyonu dönüştürücü olabilir. Ancak, zayıf yönler birleşim yerlerindedir. Meta-zamanlayıcı katmanının performans ek yükü ve geniş alan veri hareketi, sıkı bağlı HPC uygulamaları için faydaları geçersiz kılabilir. Model doğası gereği en iyi yüksek verimli, gevşek bağlı iş yükleri içindir. Ayrıca bir yönetişim zaman bombası vardır: talep federatif arzı aştığında işlere kim öncelik verir? Makale, kurumlar arasında adil pay algoritmaları ve maliyet atfı üzerine kaçınılmaz politik savaşları üstünkörü geçiştiriyor. Son olarak, "Bulut" kaynaklarından bahsetseler de, gerçek para ile (sadece krediler değil) ticari bulutlara (AWS, Google Cloud) patlama yapmanın ekonomik modeli, bütçesel tehlikeyle dolu keşfedilmemiş bir bölgedir.

Uygulanabilir Öngörüler: 1) Diğer konsorsiyumlar için: Bu şablonu derhal kopyalayın. Mimari desen yeniden kullanılabilir. AAI ve basit bir iş ağ geçidi ile başlayın. 2) PUNCH4NFDI'nin kendisi için: Sert performans verileri yayınlayın. Güven oluşturmak için federasyonun yerel erişime kıyasla ek yük maliyetini şeffaf bir şekilde göstermeliler. 3) Çatışmalar ortaya çıkmadan ÖNCE, şimdi, ayrıntılı, çok boyutlu bir adil pay politikası geliştirin. Sadece fizikçileri değil, avukatları ve muhasebecileri de dahil edin. 4) İş akışı yöneticileriyle (Nextflow, Snakemake) entegrasyonu keşfedin. Bunlar tekrarlanabilir bilim için fiili standart haline geliyor; yerel entegrasyon büyük bir kazanç olur. 5) Kaynak sağlayıcıları kademeli olarak, basit toplu iş erişiminden tam veri/hesaplama birlikte zamanlamaya kadar dahil etmek için bir "Federasyon Olgunluk Modeli" düşünün. Bu sadece bir altyapı değil; ulusal araştırma kapasitesini organize etmek için yeni bir modeldir. Başarısı, kodunun zarafeti kadar yönetişim ve topluluk desteğine de bağlı olacaktır.