PUNCH4NFDI için Federatif Heterojen Hesaplama ve Depolama Altyapısı

1. Giriş ve Genel Bakış

PUNCH4NFDI (Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar), DFG (Deutsche Forschungsgemeinschaft) tarafından finanse edilen büyük bir Alman konsorsiyumudur. Parçacık, astro-, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Konsorsiyumun temel amacı, federatif, FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu kurmaktır. Bu makalede ele alınan temel zorluk, Almanya genelindeki üye kurumlar tarafından "ayni" olarak sağlanan, her biri farklı mimari, yazılım yığını ve erişim politikalarına sahip olan son derece heterojen hesaplama (HPC, HTC, Bulut) ve depolama kaynaklarının federasyonudur.

Bunu çözmek için Compute4PUNCH ve Storage4PUNCH kavramları geliştirilmiştir. Bunlar, mevcut operasyonel sistemlere minimum düzeyde müdahale ederek, bu dağıtık altyapıya kesintisiz, şeffaf ve birleşik erişim sağlamayı amaçlamaktadır.

Konsorsiyuma Kısa Bir Bakış

Temsil Edilen Bilim İnsanları: ~9.000 Doktora
Önemli Kurumlar: Thüringer Landessternwarte, Bonn Üniversitesi, KIT, Bielefeld Üniversitesi, DESY
Finansman: DFG, ilk 5 yıllık dönem
Temel Misyon: Federatif bir FAIR veri ve hesaplama platformu inşa etmek

2. Federatif Heterojen Hesaplama Altyapısı (Compute4PUNCH)

Compute4PUNCH kavramı, farklı mimarilere, işletim sistemlerine ve kimlik doğrulama sistemlerine sahip HTC, HPC ve Bulut kaynaklarının bir yamasını etkin bir şekilde kullanma zorluğunu ele almaktadır.

2.1 Çekirdek Mimari ve Entegrasyon Zorluğu

Birincil kısıtlama "minimum müdahale" ilkesidir. Kaynaklar zaten operasyonel ve paylaşımlıdır, bu nedenle sağlayıcı sistemlerinde yapılacak değişiklikler minimum düzeyde olmalıdır. Çözüm, kaynakları yerel yönetim yığınlarında derin değişiklikler gerektirmeden federasyonlaştıran bir kaplama sistemidir.

2.2 Temel Teknolojiler ve Bileşenler

Kaplama Toplu İş Sistemi: Çekirdek federatif iş çizelgeleyici olarak HTCondor kullanılır ve farklı kaynaklardan birleşik bir havuz oluşturur.
Kaynak Meta-Çizelgeleyici: COBalD/TARDIS, heterojen kaynakları (örn., HPC kuyrukları, bulut sanal makineleri) HTCondor havuzuna dinamik ve şeffaf bir şekilde entegre eder. Kullanıcılar adına kaynak talep eden bir "pilot" sistemi olarak hareket eder.
Yazılım Ortamı: Konteyner teknolojileri (örn., Docker, Singularity) ve CERN Sanal Makine Dosya Sistemi (CVMFS), tüm düğümlerde ölçeklenebilir, tekrarlanabilir ve topluluğa özgü yazılım sağlamayı garanti eder.
Kimlik Doğrulama ve Yetkilendirme: Çok kurumlu bir ortam için kritik olan standartlaştırılmış erişim sağlamak üzere token tabanlı bir Kimlik Doğrulama ve Yetkilendirme Altyapısı (AAI) kullanılır.

2.3 Erişim ve Kullanıcı Arayüzü

Kullanıcılar federatif sistemle tanıdık giriş noktaları üzerinden etkileşime girer:

Geleneksel Giriş Düğümleri: Ağ geçidi sistemlerine SSH erişimi.
JupyterHub: Hesaplama kaynaklarına ve verilere etkileşimli erişim sağlayan, karmaşık analizler için giriş engelini düşüren web tabanlı bir arayüz.

3. Federatif Depolama Altyapısı (Storage4PUNCH)

Hesaplamaya paralel olarak, Storage4PUNCH topluluk tarafından sağlanan depolama sistemlerini federasyonlaştırmaya odaklanır.

3.1 Depolama Federasyonu Stratejisi

Strateji, dağıtık depolama için birleşik bir ad alanı ve erişim katmanı oluşturmak üzere Yüksek Enerji Fiziği (HEP) topluluğundan gelen yerleşik teknolojilerden yararlanır.

3.2 Teknoloji Yığını ve Entegrasyon

Çekirdek Depolama Teknolojileri: Öncelikle dCache ve XRootD. Bunlar, dağıtık siteler arasında petabayt ölçekli veri yönetimi için HEP'te yaygın olarak kullanılır.
Federasyon Katmanı: Sistemler ortak bir altyapıda federasyonlaştırılır ve kullanıcılara tek bir mantıksal dosya sistemi sunar.
Değerlendirme Altındaki Gelişmiş Özellikler: Gecikme/bant genişliğini azaltmak için önbellekleme teknolojilerinin ve gelişmiş veri keşfi ve yönetimi için meta veri işleme sistemlerinin entegrasyonu, basit dosya erişiminin ötesinde daha derin bir entegrasyon hedeflenmektedir.

4. Teknik Uygulama ve Detaylar

4.1 Kaynak Çizelgeleme için Matematiksel Model

Temel çizelgeleme zorluğu bir optimizasyon problemi olarak soyutlanabilir. $R = \{r_1, r_2, ..., r_n\}$, mimari $(arch_i)$, mevcut çekirdekler $(c_i)$, bellek $(m_i)$ ve maliyet/öncelik $(p_i)$ gibi niteliklere sahip heterojen kaynaklar kümesi olsun. $J = \{j_1, j_2, ..., j_m\}$, gereksinimleri $(c^{req}_j, m^{req}_j, arch^{req}_j)$ olan işler kümesi olsun.

Meta-çizelgeleyici (COBalD/TARDIS), genel faydayı veya verimi maksimize etmeyi amaçlar, bu şu şekilde modellenebilir: $$\text{Maksimize Et } U = \sum_{j \in J} \sum_{r \in R} x_{jr} \cdot u(j, r)$$ kısıtlamalara tabi: $$\sum_{j} x_{jr} \cdot c^{req}_j \leq c_r, \quad \sum_{j} x_{jr} \cdot m^{req}_j \leq m_r, \quad x_{jr} \in \{0,1\}$$ burada $x_{jr}=1$, eğer $j$ işi $r$ kaynağına çizelgelenmişse, ve $u(j,r)$, iş ihtiyaçlarını kaynak yetenekleri ve politikalarıyla eşleştiren bir fayda fonksiyonudur. Bu, grid/bulut çizelgeleme literatüründe yaygın olan bir kutu paketleme veya çok boyutlu sırt çantası problemine benzer.

4.2 Prototip Sonuçları ve Performans

Makale, "mevcut prototipler üzerinde yürütülen bilimsel uygulamalarla ilk deneyimlerden" bahsetmektedir. Özette spesifik nicel kıyaslama sonuçları verilmese de, başarılı yürütme şunları ima eder:

Fonksiyonel Entegrasyon: HTCondor/COBalD/TARDIS kaplaması, farklı arka uç sistemlerine (HPC toplu iş kuyrukları, HTC çiftlikleri) başarıyla iş gönderdi ve yönetti.
Yazılım Teslimi: CVMFS ve konteynerler, gerekli yazılım ortamlarını çeşitli çalışan düğümlere güvenilir bir şekilde teslim etti.
AAI İş Akışı: Token tabanlı AAI, bir kurumdaki kullanıcıların başka bir kurumdaki kaynaklara sorunsuz bir şekilde erişmesine izin verdi.

Diyagram Kavramı (Örtülü Mimari): Mantıksal bir diyagram, Kullanıcı Erişim Noktalarını (JupyterHub, Giriş Düğümleri) merkezi bir "Federasyon Katmanına" bağlar. Bu katman HTCondor (Hesaplama Çizelgeleyici) ve Depolama Federasyonunu (dCache/XRootD) içerir. Bu katmanın altında, COBalD/TARDIS aracıları ve depolama protokolleri ile bağlanan, her biri yerel HPC, HTC veya Bulut kaynaklarına ve depolamaya sahip birden fazla "Kaynak Sitesi" (Site A, B, C...) gösterilir. Veriler, yüksek hızlı ağlar üzerinden federatif depolamadan hesaplama kaynaklarına akar.

5. Analiz Çerçevesi ve Vaka Çalışması

Vaka Çalışması: Çoklu Haberci Astrofizik Analizi

Senaryo: Bir araştırmacı, DESY'deki bir dCache örneğinde depolanan bir nötrino teleskobundan gelen büyük bir veri setini, Tautenburg'daki bir XRootD sisteminde depolanan optik gökyüzü tarama verileriyle ilişkilendirmeli ve sınıflandırma için bir makine öğrenimi modeli çalıştırmalıdır.

PUNCH4NFDI Çerçevesinde İş Akışı:

Erişim ve Keşif: Araştırmacı, konsorsiyumun AAI token'ını kullanarak JupyterHub hizmetine giriş yapar.
Veri Erişimi: Birleşik Storage4PUNCH ad alanı aracılığıyla, her iki uzak veri setine yerel dosyalarmış gibi erişir (/punche/data/neutrino/event_set.h5, /punche/data/optical/survey_catalog.fits).
Hesaplama İşi Gönderimi: Bir analiz betiği (PyTorch ile Python) yazar. Betik, kaynak ihtiyaçlarını belirtir: 4 GPU, 64 GB RAM ve spesifik bir konteyner görüntüsü (registry.punch4nfdi.de/astroml:v2.1).
Orkestrasyon: HTCondor üzerinden gönderim yapıldığında, COBalD/TARDIS gereksinimleri karşılayan mevcut kaynakları belirler—belki KIT'in HPC kümesindeki ve Bielefeld'in bulutundaki GPU düğümleri.
Yürütme: Konteyner CVMFS üzerinden çekilir, veri federatif depolamadan akışla alınır ve iş çalıştırılır. Araştırmacı, JupyterHub arayüzü veya HTCondor komutları aracılığıyla ilerlemeyi izler.

Bu, "kesintisiz" vizyonu gösterir: kullanıcı, 5+ farklı kurumsal altyapının karmaşıklığıyla değil, tek bir sistemle uğraşır.

6. Eleştirel Analiz ve Uzman Görüşü

Temel Görüş: PUNCH4NFDI yeni bir süper bilgisayar inşa etmiyor; dikkate değer politik ve teknik pragmatizme sahip bir federasyon katmanı mühendisliği yapıyor. Gerçek yeniliği, mevcut kaynak sağlayıcılarının egemenliğini kabul eden—Alman kamu finansmanlı biliminde pazarlık edilemez bir gerçeklik—"minimum müdahale" zorunluluğunda yatıyor. Bu onu bir teknoloji ayak izi projesinden ziyade, parçalanmadan değer çıkarmayı amaçlayan sofistike bir "tutkal" projesi haline getiriyor.

Mantıksal Akış ve Stratejik Gerekçe: Mantık sağlamdır: 1) Heterojenliği kalıcı bir durum olarak kabul et, 2) Riski azaltmak ve benimsemeyi teşvik etmek için savaşta test edilmiş, topluluk tarafından kabul görmüş ara yazılımları (HTCondor, dCache, XRootD) kullan, 3) Heterojenliği yönetmek için modern orkestrasyonu (COBalD/TARDIS, konteynerler) tanıt, 4) Altta yatan karmaşıklığı gizlemek için kullanıcı dostu ağ geçitleri (JupyterHub) sağla. Bu, Dünya Çapında LHC Hesaplama Gridi'nin (WLCG) başarılı şablonunu takip eder ancak onu daha çeşitli bir bilim ve kaynak türleri setine genişletir.

Güçlü ve Zayıf Yönler:
Güçlü Yönler: Teknoloji seçimleri mükemmeldir. HTCondor onlarca yıllık kanıtlanmış ölçeklenebilirliğe sahiptir. HEP'ten çıkan COBalD/TARDIS, bu dinamik, heterojen sağlama için özel olarak inşa edilmiştir. CVMFS, veri yoğun bilimde yazılım dağıtımı için altın standarttır. AAI'ye odaklanmak, kurumlar arası güven için kritiktir.
Önemli Zayıf Yönler/Riskler: Odadaki fil, performans ek yükü ve karmaşıklığıdır. Bir kaplama sistemi kaçınılmaz olarak gecikme ve hata noktaları ekler. Büyük ölçüde farklı HPC politikaları (kuyruk bekleme süreleri, duvar saati limitleri) arasında çizelgeleme, COBalD/TARDIS'ın evcilleştirmesi gereken bir kabustur. Makalenin sert performans verisi eksikliği anlamlıdır—kanıt, prototip çalıştırmalarda değil, üretim iş yüklerinde sürdürülebilir verimde olacaktır. Ayrıca, önbellekleme "değerlendiriliyor" olsa da, federatif depolama ve hesaplama siteleri arasındaki veri lojistiği, erken grid hesaplamada karşılaşılan zorlukları hatırlatan önemli bir darboğaz haline gelebilir. Avrupa Açık Bilim Bulutu'ndan (EOSC) 2023 tarihli bir "Araştırma Altyapılarının Birlikte Çalışabilirliği" raporu, kesintisiz veri hareketinin bu tür federasyonlar için ilk 5 zorluktan biri olmaya devam ettiğini vurgulamaktadır.

Uygulanabilir Görüşler: Benzer federasyon girişiminde bulunan diğer konsorsiyumlar için: 1. Teknolojiden Önce Politikaya Öncelik Verin: Önce kaynak paylaşımı ve AAI politikaları üzerine bağlayıcı bir mutabakat zaptı alın. Teknoloji daha kolay kısımdır. 2. İlk Günden Her Şeyi Enstrümanize Edin: Gerçek dünya ek yükünü, iş başarı oranlarını ve veri transfer verimliliğini ölçmek için kapsamlı izleme (Grafana/Prometheus gibi) dağıtın. Bu veri, federasyonun değerini haklı çıkarmak için çok önemlidir. 3. "Uzun Kuyruk" için Plan Yapın: İlk kullanıcılar hesaplamalı seçkinler olacaktır. 9.000 bilim insanına gerçekten hizmet etmek için, güce ihtiyaç duyan ancak sistem yöneticisi becerilerinden yoksun araştırmacıların uzun kuyruğunu dahil etmek için JupyterHub ekosistemine, şablon iş akışlarına ve topluluk eğitimine ağır yatırım yapın. ABD NSF'nin "Bilim Ağ Geçitleri" girişiminin başarısı bu ihtiyacın altını çizmektedir. 4. HEP Teknolojisinin Ötesine Bakın: dCache/XRootD sağlam olsa da, CNCF'nin "Cloud Native Storage" teknik incelemesinde önerildiği gibi, ticari bulutlar ve diğer bilimsel alanlarla daha geniş birlikte çalışabilirlik için daha bulut yerli nesne depolama arayüzlerini (S3) de değerlendirin.

7. Gelecekteki Uygulamalar ve Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, birkaç gelişmiş gelecek yönü için bir temel oluşturur:

Bulut ve Kenar ile Yakınsama: Çerçeve, COBalD/TARDIS aracılığıyla ticari bulut patlamalarını (AWS, GCP, Azure) zirve talep için ve potansiyel olarak enstrümanların yakınındaki (örn., teleskop tesisleri) kenar hesaplama sitelerini gerçek zamanlı filtreleme için sorunsuz bir şekilde entegre edebilir.
Yapay Zeka/ML İş Yükü Orkestrasyonu: Dağıtık ML eğitimi için dinamik, esnek kümeler için gelişmiş destek (örn., Kubernetes operatörlerinin HTCondor kaplamasıyla entegrasyonu) ve federatif depolamada önceden eğitilmiş modellerin küratörlüğünü yapılmış depoları.
Aktif Veri ve Hesaplama Eşleştirmesi: Basit dosya erişiminin ötesine geçmek. Gelecekteki çalışmalar, analiz kodunun veri konumuna gönderildiği "hizmet olarak işlev" modellerini etkinleştirebilir (Avrupa Açık Bilim Bulutu gibi projelerdeki "Görevlere Yakın Veri" paradigmasından esinlenerek).
Konsorsiyumlar Arası Federasyon: PUNCH4NFDI, diğer NFDI konsorsiyumlarıyla (örn., yaşam bilimleri veya iklim araştırmaları için) federasyon için bir model olarak hizmet edebilir, gerçek bir ulusal araştırma dokusu oluşturabilir. Bu, alanlar arası AAI ve meta veri şemaları üzerinde çalışma gerektirir.
Sürdürülebilirlik Modeli: İlk 5 yıllık DFG hibesinin ötesinde, uzun vadeli operasyon ve finansman için, potansiyel olarak kurumlar arasında kaynak kullanımına dayalı maliyet paylaşımı veya muhasebe mekanizmalarını içeren net bir model geliştirmek.

8. Referanslar

PUNCH4NFDI Konsorsiyumu. (2024). PUNCH4NFDI Beyaz Kitap: FAIR Bir Bilim Veri Platformuna Doğru. (İç Konsorsiyum Belgesi).
Thain, D., Tannenbaum, T., & Livny, M. (2005). Uygulamada dağıtık hesaplama: Condor deneyimi. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
Avrupa Açık Bilim Bulutu (EOSC) Derneği. (2023). EOSC Birlikte Çalışabilirlik Çerçeve Raporu. https://www.eosc.eu/advisory-groups/interoperability
Blomer, J., vd. (2011). CernVM-FS ile yazılım dağıtımı. Journal of Physics: Conference Series, 331(4), 042003. https://doi.org/10.1088/1742-6596/331/4/042003
Cloud Native Computing Foundation (CNCF). (2022). Cloud Native Storage: Bir Teknik İnceleme. https://www.cncf.io/reports/cloud-native-storage-whitepaper/
National Science Foundation. (2021). Bilim Ağ Geçitleri Topluluk Enstitüsü: Yıllık Rapor. https://sciencegateways.org
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Döngü-Tutarlı Çekişmeli Ağlar Kullanarak Eşleştirilmemiş Görüntüden Görüntüye Çeviri. In Proceedings of the IEEE international conference on computer vision (pp. 2223-2232). (Böyle bir federatif altyapıdan yararlanacak karmaşık, kaynak yoğun bir algoritma örneği olarak alıntılanmıştır).