Compute4PUNCH و Storage4PUNCH: البنية التحتية الموحدة لفيزياء الجسيمات والفيزياء الفلكية والفيزياء النووية

1. المقدمة

يمثل تحالف PUNCH4NFDI (الجسيمات، الكون، النوى والهادرونات من أجل البنية التحتية الوطنية لبيانات البحث)، الممول من مؤسسة الأبحاث الألمانية (DFG)، ما يقارب 9000 عالم من مجتمعات فيزياء الجسيمات، والفيزياء الفلكية، وفيزياء الجسيمات الفلكية، وفيزياء الهادرونات، والفيزياء النووية في ألمانيا. وهو جزء من مبادرة NFDI الوطنية، وهدفه الأساسي هو إنشاء منصة موحدة وعادلة (FAIR) لبيانات العلوم. تهدف هذه المنصة إلى توفير وصول سلس إلى موارد الحوسبة والتخزين المتنوعة وغير المتجانسة التي تقدمها المؤسسات الأعضاء، لمعالجة التحدي المشترك المتمثل في تحليل أحجام البيانات المتزايدة بشكل كبير باستخدام خوارزميات معقدة. يوضح هذا المستند مفاهيم Compute4PUNCH و Storage4PUNCH التي تم تطويرها لتوحيد هذه الموارد.

2. البنية التحتية الموحدة غير المتجانسة للحوسبة – Compute4PUNCH

يتصدى Compute4PUNCH لتحدي الاستفادة الفعالة من مجموعة واسعة من موارد الحوسبة عالية الإنتاجية (HTC)، والحوسبة عالية الأداء (HPC)، والموارد السحابية المقدمة عينياً والموزعة عبر ألمانيا. تختلف هذه الموارد في بنيتها وأنظمتها التشغيلية وبرمجياتها وآليات المصادقة، وهي تعمل بالفعل لأغراض أخرى، مما يحد من نطاق التعديل عليها.

3. البنية التحتية الموحدة للتخزين – Storage4PUNCH

يركز Storage4PUNCH على توحيد أنظمة التخزين المقدمة من المجتمع، المعتمدة بشكل أساسي على تقنيتي dCache و XRootD، وهما تقنيتان راسختان في فيزياء الطاقة العالية (HEP). ينشئ التوحيد مساحة اسم مشتركة وطبقة وصول. كما يقيم المفهوم التقنيات الحالية من أجل:

• التخزين المؤقت: لتحسين زمن الوصول إلى البيانات وتقليل حركة المرور على الشبكة الواسعة (WAN)، على غرار المفاهيم المستخدمة في شبكات البيانات العالمية مثل شبكة الحوسبة العالمية لمصادم الهادرونات الكبير (WLCG).
• معالجة البيانات الوصفية: تهدف إلى تكامل أعمق لتمكين اكتشاف البيانات بناءً على سمات البيانات الوصفية، متجاوزةً مجرد تحديد موقع الملف.

تتيح بيئة Compute4PUNCH و Storage4PUNCH المجمعة للباحثين تنفيذ مهام تحليلية تستهلك الكثير من الموارد وتتطلب وصولاً منسقاً إلى كل من قوة الحوسبة ومجموعات البيانات الكبيرة.

4. التفاصيل التقنية والإطار الرياضي

يمكن نمذجة جدولة الموارد بواسطة COBalD/TARDIS على أنها مشكلة تحسين. لنفترض أن $J = \{j_1, j_2, ..., j_n\}$ هي مجموعة من المهام في قائمة انتظار HTCondor، وأن $P = \{p_1, p_2, ..., p_m\}$ هي مجموعة الموارد المتاحة (المحلية والخارجية). لكل مهمة $j_i$ متطلبات $R_i$ (نوى المعالج، الذاكرة، وحدات معالجة الرسومات، البرمجيات). ولكل مورد $p_k$ قدرات $C_k$ ودالة تكلفة $\text{Cost}(p_k, t)$، والتي قد تكون نقدية أو تعتمد على الأولوية/الاعتمادات.

هدف الجدول الفوقي هو إيجاد تعيين $M: J \rightarrow P$ يقلل التكلفة الإجمالية أو زمن الإنجاز مع الالتزام بالقيود: $$\text{تقليل } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{بشرط } R_i \subseteq C_{M(j_i)} \text{ لكل } j_i \in J.$$ يستخدم COBalD استراتيجيات إرشادية أو تعلم آلي لحل مشكلة التحسين الديناميكية هذه أثناء تغير المهام وتوفر الموارد.

5. النتائج التجريبية وأداء النموذج الأولي

تتناول الورقة التجارب الأولية مع التطبيقات العلمية على النماذج الأولية المتاحة. بينما لم يتم تفصيل أرقام معايير أداء محددة في المقتطف المقدم، فإن التنفيذ الناجح لتطبيقات المجتمع المتنوعة يثبت صحة البنية. تشمل مؤشرات الأداء الرئيسية (KPIs) لمثل هذا التوحيد عادةً:

• إنتاجية المهام: عدد المهام المكتملة يومياً عبر النظام الموحد.
• استخدام الموارد: النسبة المئوية للوقت الذي تُستخدم فيه الموارد المقدمة (خاصة الخارجية والقابلة للتمدد) بنشاط، مما يظهر كفاءة التوفير الديناميكي لـ COBalD.
• كفاءة نقل البيانات: زمن الوصول وعرض النطاق الترددي للمهام التي تصل إلى البيانات من اتحاد Storage4PUNCH، وهو أمر بالغ الأهمية للتحليلات كثيفة الإدخال/الإخراج.
• رضا المستخدم: تقليل تعقيد إرسال المهام ووقت الانتظار، ويقاس عبر استطلاعات المستخدمين.

مرحلة النموذج الأولي حاسمة لاختبار تحمل تكامل AAI، ومتانة الطبقة التراكبية لـ HTCondor، وقابلية التوسع لـ CVMFS لتوصيل البرمجيات إلى آلاف المهام المتزامنة.

6. إطار التحليل: سيناريو حالة استخدام

السيناريو: يحتاج باحث في الفيزياء النووية إلى معالجة 1 بيتابايت من بيانات الكاشف باستخدام سلسلة محاكاة معقدة بطريقة مونت كارلو.

1. الوصول: يسجل الباحث الدخول إلى PUNCH JupyterHub باستخدام بيانات اعتماد مؤسسته (عبر AAI المعتمد على الرمز المميز).
2. البرمجيات: يقوم دفتر ملاحظاته تلقائياً بتحميل مجموعة البرمجيات المطلوبة من CVMFS وإنشاء حاوية تحتوي على مكتبات المحاكاة المحددة.
3. البيانات: يشير كود دفتر الملاحظات إلى البيانات باستخدام مساحة الأسماء الموحدة لـ Storage4PUNCH (مثال: `root://punch-federation.de/path/to/data`). تتولى بروتوكولات XRootD التعامل مع الموقع والنقل.
4. الحوسبة: يرسل الباحث 10000 مهمة متوازية عبر غلاف برمجي بلغة Python يتفاعل مع واجهة برمجة تطبيقات REST الخاصة بـ HTCondor. يقوم COBalD/TARDIS بتوفير مزيج من عمال HTCondor المحليين وعُقد سحابة HPC قابلة للتمدد ديناميكياً للتعامل مع ذروة الحمل.
5. التنسيق: يدير HTCondor دورة حياة المهمة. يتم كتابة المخرجات مرة أخرى إلى التخزين الموحد. يراقب الباحث التقدم عبر لوحة تحكم JupyterHub.

يوضح هذا السيناريو التكامل السلس الذي يهدف إليه الإطار، مجرداً تعقيد البنية التحتية.

7. التطبيقات المستقبلية وخارطة الطريق للتطوير

تشكل بنية PUNCH4NFDI التحتية نموذجاً للتوحيد البحثي على المستوى الوطني.

• التوحيد عبر التحالفات: يمكن أن يمتد النموذج إلى تحالفات NFDI أخرى (مثل علوم الحياة، الهندسة)، مما يخلق عموداً فقرياً حقيقياً للبنية التحتية الوطنية لبيانات البحث. ستكون اتفاقات مشاركة الموارد و AAI بين التحالفات أمراً أساسياً.
• دمج موارد الحوسبة الطرفية والكمية: مع نضج الحوسبة الطرفية (لمعالجة بيانات الأدوات مسبقاً) والحوسبة الكمية، يمكن توسيع بنية الجدول الفوقي لدمجها كأنواع موارد متخصصة.
• تحسين أعباء عمل الذكاء الاصطناعي/التعلم الآلي: يمكن لخوارزميات الجدولة دمج متنبئات بأوقات تشغيل مهام الذكاء الاصطناعي/التعلم الآلي (على غرار النهج في مشاريع مثل `Optuna` أو `Ray Tune`) لتحسين التنسيب بشكل أكبر، خاصة لموارد وحدات معالجة الرسومات.
• تعزيز البيانات الوصفية وبحيرات البيانات: يمكن للتكامل الأعمق لفهارس البيانات الوصفية أن يحول Storage4PUNCH إلى بحيرة بيانات نشطة، مما يمكن جدولة المهام الحاسوبية التي تركز على البيانات حيث يتم إرسال المهام الحاسوبية إلى موقع البيانات.
• التركيز على الاستدامة: يمكن للنسخ المستقبلية أن تحسن البصمة الكربونية، حيث تفضل جدولة المهام إلى مراكز البيانات التي لديها مزيج أعلى من الطاقة المتجددة، بما يتماشى مع مبادرات الحوسبة الخضراء كما في مشاريع مثل `الصفقة الخضراء الأوروبية`.

8. المراجع

1. تحالف PUNCH4NFDI. (2024). "الورقة البيضاء لـ PUNCH4NFDI." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). "COBalD/TARDIS – Agile resource provisioning for HTCondor pools." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). "The CERN Virtual Machine File System: A scalable, reliable, and efficient software distribution system." Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). "Storage Federation with XRootD and dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. منظور المحلل: الفكرة الأساسية، التسلسل المنطقي، نقاط القوة والضعف، رؤى قابلة للتطبيق

الفكرة الأساسية: لا يبني PUNCH4NFDI حاسوباً فائقاً جديداً؛ بل يبني نظام تشغيل للتوحيد. تكمن الابتكار الحقيقي في النهج العملي القائم على الطبقات التراكبية الذي يغلف الموارد المؤسسية الحالية البيروقراطية وغير المتجانسة في منصة واحدة سهلة الاستخدام. هذا أقل حول اختراق تكنولوجي خام وأكثر حول التنسيق الاجتماعي التقني على المستوى الوطني. إنه يواجه مباشرة "مأساة المشاع" في الحوسبة البحثية، حيث تكون الموارد معزولة وغير مستغلة بالكامل، من خلال إنشاء سوق مُدارة لدورات الحوسبة ووحدات التخزين.

التسلسل المنطقي: المنطق عملي بشكل لا تشوبه شائبة. 1) تقبل عدم التجانس كمواطن من الدرجة الأولى: بدلاً من فرض التوحيد القياسي (وهو أمر غير قابل للتحقيق سياسياً)، قاموا بتجريده باستخدام HTCondor والحاويات. 2) تقليل الاحتكاك مع مقدمي الخدمة: نموذج COBalD/TARDIS عبقري – إنه جدول طفيلي لا يتطلب من مراكز HPC تغيير سياساتها المحلية، مما يجعل اعتماده مقبولاً. 3) تعظيم بساطة المستخدم: JupyterHub و token-AAI هما الميزتان القاتلتان للاعتماد، حيث يخفيان تعقيداً هائلاً في الخلفية وراء علامة تبويب متصفح. 4) الاستفادة من ثقة المجتمع: البناء على أدوات فيزياء الطاقة العالية المجربة (dCache، XRootD، CVMFS) ليس سليماً تقنياً فحسب؛ بل يوفر مصداقية فورية ويقلل المخاطر التشغيلية.