1. مقدمه
کنسرسیوم PUNCH4NFDI (ذرات، کیهان، هستهها و هادرونها برای زیرساخت ملی دادههای پژوهشی)، که توسط بنیاد پژوهشی آلمان (DFG) تأمین مالی میشود، نماینده حدود ۹۰۰۰ دانشمند از جوامع فیزیک ذرات، اخترفیزیک، اخترذرات، هادرون و فیزیک هستهای در آلمان است. این کنسرسیوم که در چارچوب ابتکار ملی NFDI جای گرفته، هدف اصلی آن ایجاد یک پلتفرم علمی دادهای فدرال و FAIR (قابل کشف، قابل دسترسی، قابل تعامل و قابل استفاده مجدد) است. این پلتفرم در پی فراهمآوردن دسترسی یکپارچه به منابع محاسباتی و ذخیرهسازی متنوع و ناهمگونی است که توسط مؤسسات عضو ارائه میشوند و چالش مشترک تحلیل حجمهای دادهای با رشد نمایی با الگوریتمهای پیچیده را مورد توجه قرار میدهد. این سند بر مفاهیم فنی Compute4PUNCH و Storage4PUNCH تمرکز دارد که ستون فقرات این زیرساخت فدرال را تشکیل میدهند.
2. زیرساخت محاسباتی ناهمگون فدرال – Compute4PUNCH
Compute4PUNCH به چالش استفاده مؤثر از طیف گستردهای از منابع محاسباتی با توان عملیاتی بالا (HTC)، محاسبات با کارایی بالا (HPC) و منابع ابری توزیعشده در سراسر آلمان میپردازد. این منابع از نظر معماری، سیستمهای عامل، پشتههای نرمافزاری و مکانیزمهای احراز هویت متفاوت هستند.
2.1. معماری هسته و سیستم رویهای
پایه اصلی Compute4PUNCH ایجاد یک سیستم دستهای رویهای فدرال مبتنی بر HTCondor است. نوآوری کلیدی استفاده از فرابرنامهریز منابع COBalD/TARDIS است. TARDIS (TARDIS به عنوان یک توزیعکننده منابع برای زمانبندی درجا عمل میکند) به صورت پویا و شفاف، منابع خارجی ناهمگون را در استخر HTCondor ادغام میکند. این سیستم به عنوان یک سیستم "پایلوت" عمل میکند که وظایف نگهدارنده را به خوشههای خارجی (مانند سیستمهای HPC مبتنی بر Slurm) ارسال میکند که سپس وظایف واقعی کاربران را از صف مرکزی HTCondor دریافت و اجرا میکنند. این رویکرد حداقل مداخله در تنظیمات عملیاتی موجود ارائهدهندگان منابع را تضمین میکند که یک نیاز حیاتی برای پذیرش است.
منطق تطبیق و زمانبندی منابع را میتوان به صورت انتزاعی با یک تابع بهینهسازی نمایش داد. فرض کنید $R = \{r_1, r_2, ..., r_n\}$ مجموعه منابع ناهمگون در دسترس باشد که هر کدام دارای ویژگیهایی مانند معماری $arch(r_i)$، هستههای در دسترس $c(r_i)$، حافظه $m(r_i)$ و زمان انتظار در صف $w(r_i)$ هستند. همچنین فرض کنید $J = \{j_1, j_2, ..., j_m\}$ مجموعه وظایف کاربر با نیازمندیهای $req(j_k)$ باشد. هدف فرابرنامهریز یافتن یک نگاشت $M: J \rightarrow R$ است که یک تابع هدف $F$، که اغلب مجموع وزنی کارایی و انصاف است، را بیشینه کند:
$F(M) = \alpha \cdot \sum_{j_k} U(j_k, M(j_k)) - \beta \cdot \sum_{r_i} L(r_i, M^{-1}(r_i))$
که در آن $U$ یک تابع سودمندی است که میزان برآورده شدن نیازمندیهای یک وظیفه توسط یک منبع را (با در نظر گرفتن سازگاری محیط نرمافزاری از طریق CVMFS) اندازهگیری میکند و $L$ یک تابع بار است که استفاده بیش از حد از هر منبع منفرد را جریمه میکند. COBalD/TARDIS به صورت ابتکاری این مسئله زمانبندی پویا و برخط را حل میکند.
2.2. دسترسی و محیط نرمافزاری
دسترسی کاربران از طریق یک زیرساخت احراز هویت و مجوزدهی (AAI) مبتنی بر توکن استانداردسازی شده است. نقاط ورود اصلی، گرههای ورود سنتی و یک سرویس JupyterHub هستند که یک رابط وب آشنا برای تحلیل تعاملی و نمونهسازی اولیه فراهم میکنند.
برای مدیریت وابستگیهای نرمافزاری متنوع، این زیرساخت از فناوریهای کانتینر (مانند Docker، Singularity/Apptainer) و سیستم فایل ماشین مجازی سرن (CVMFS) بهره میبرد. CVMFS یک فضای نام مقیاسپذیر، فقط خواندنی و توزیعشده جهانی برای نصب نرمافزار ارائه میدهد. پشتههای نرمافزاری خاص هر جامعه به مخازن CVMFS منتشر میشوند و اطمینان حاصل میکنند که هر گره محاسباتی، صرف نظر از مکان فیزیکی آن، میتواند به محیط نرمافزاری مورد نیاز به صورت فوری و یکنواخت دسترسی داشته باشد و بار نصب محلی را حذف کند.
3. زیرساخت ذخیرهسازی فدرال – Storage4PUNCH
Storage4PUNCH بر فدرالسازی سیستمهای ذخیرهسازی ارائهشده توسط جوامع علمی تمرکز دارد که عمدتاً مبتنی بر فناوریهای dCache یا XRootD هستند که هر دو در فیزیک انرژی بالا (HEP) به خوبی جا افتادهاند.
3.1. راهبردهای فدراسیون و کش
این فدراسیون یک فضای نام یکپارچه ایجاد میکند که به کاربران اجازه میدهد دادهها را در چندین عنصر ذخیرهسازی مؤسسهای به عنوان یک سیستم واحد دسترسی کنند. فناوریهایی مانند پروتکل فدراسیون XRootD و تجمع frontend در dCache برای دستیابی به این هدف به کار گرفته میشوند. سیستم مکانیابی و مسیریابی هوشمند داده را انجام میدهد.
یک مؤلفه حیاتی که در حال ارزیابی است، کش است. یک لایه کش جهانی یا منطقهای میتواند به طور قابل توجهی تأخیر و بار شبکه گسترده را برای مجموعه دادههای پرتکرار کاهش دهد. نرخ برخورد $H$ یک کش با اندازه $S$ برای یک الگوی دسترسی به داده را میتوان مدل کرد. اگر احتمال دسترسی به آیتم داده $d_i$ از یک توزیع شبیه Zipf پیروی کند $P(i) \sim 1 / i^{\alpha}$، نرخ برخورد مورد انتظار برای یک کش LRU تقریباً برابر است با:
$H(S) \approx \sum_{i=1}^{S} P(i)$
که در آن $\alpha$ پارامتر چولگی است. برای گردشهای کاری علمی با استفاده مجدد زیاد از داده (که در زنجیرههای تحلیل رایج است)، حتی کشهای با اندازه متوسط میتوانند نرخ برخورد $H$ بالایی ایجاد کنند که استقرار آنها را توجیه میکند. این پروژه همچنین راهحلهای مدیریت فراداده را برای یکپارچهسازی عمیقتر ارزیابی میکند و هدف آن ارائه نه تنها دسترسی به فایل، بلکه قابلیتهای کشف داده در سراسر فدراسیون است.
4. جزئیات فنی و چارچوب ریاضی
عملکرد فدراسیون به کشف و زمانبندی کارآمد منابع وابسته است. حالت سیستم را میتوان به صورت یک گراف $G=(V,E)$ مدل کرد که در آن رئوس $V$ نمایانگر منابع (گرههای محاسباتی، نقاط پایانی ذخیرهسازی) و یالهای $E$ نمایانگر پیوندهای شبکه با پهنای باند $bw(e)$ و تأخیر $lat(e)$ هستند. یک گردش کاری $W$ یک گراف جهتدار غیرمدور (DAG) از وظایف $T$ با وابستگیهای دادهای $D$ است.
مسئله زمانبندی به این صورت میشود: هر وظیفه $t \in T$ را روی یک منبع محاسباتی $r_c \in V_c$ قرار دهید و دادههای ورودی مورد نیاز آن را از منابع ذخیرهسازی $r_s \in V_s$ مسیریابی کنید به گونهای که کل زمان تکمیل گردش کاری (makespan) کمینه شود، با در نظر گرفتن محدودیتهای زیر:
$\text{کمینه کردن } \max_{t \in T} (ft(t))$
با محدودیت:
$\forall r \in V_c, \sum_{t قرار\ گرفته\ روی\ r} c(t) \leq C(r)$ (ظرفیت CPU)
$\forall d \in D, \text{زمان\ انتقال}(d) = \frac{اندازه(d)}{\min\_bw(مسیر)} + \sum_{e \in مسیر} lat(e)$
که در آن $ft(t)$ زمان پایان وظیفه $t$، $c(t)$ تقاضای CPU آن و $C(r)$ ظرفیت منبع $r$ است. سیستم فدرال از الگوریتمهای ابتکاری درون HTCondor و COBalD/TARDIS برای تقریب راهحلهای این مسئله NP-hard در زمان واقعی استفاده میکند.
5. نتایج آزمایشی و عملکرد نمونه اولیه
این مقاله تجربیات اولیه با نمونههای اولیه عملیاتی را گزارش میدهد. اگرچه معیارهای کمی خاص در متن ارائهشده به تفصیل بیان نشدهاند، اما متن حاکی از اجرای موفق برنامههای علمی روی زیرساخت فدرال است.
توضیح نمودار (معیارهای عملکرد استنباطشده): یک نمودار عملکرد فرضی احتمالاً دو معیار کلیدی را در طول زمان نشان میدهد: ۱) میزان استفاده تجمعی از منابع در سراسر استخر فدرال، که نشان میدهد سیستم رویهای چگونه به طور مؤثر شکافهای ظرفیت بین مراکز مشارکتکننده مختلف را پر میکند. ۲) زمان چرخش وظیفه که یک سناریوی فدرال را در مقابل استفاده جداگانه از منابع مقایسه میکند. سیستم فدرال میانگین و واریانس کمتری در زمان چرخش نشان میدهد، به ویژه برای وظایفی که نیازمندیهای منابع انعطافپذیری دارند، زیرا میتوانند به منابعی با کوتاهترین صف مسیریابی شوند. ادغام منابع HPC از طریق TARDIS یک منحنی متمایز نشان میدهد که در ابتدا به دلیل مکانیزم وظیفه پایلوت تأخیر اضافه میکند اما دسترسی به گرههای با تعداد هسته زیاد را که در غیر این صورت در دسترس نیستند، برای بارهای کاری مناسب فراهم میکند.
گزارش شده است که استفاده از CVMFS با موفقیت محیطهای نرمافزاری یکنواختی را فراهم میکند که یک عامل موفقیت حیاتی برای پذیرش کاربر است. AAI مبتنی بر توکن پیادهسازی شده و پایه لازم برای دسترسی امن و چندمؤسسهای را فراهم کرده است.
6. چارچوب تحلیل: یک مطالعه موردی مفهومی
مورد: تحلیل اخترفیزیک چندپیامرسان. یک اخترفیزیکدان ذرات نیاز دارد تا دادههای یک انفجار پرتو گاما (GRB) که توسط Fermi-LAT و IceCube شناسایی شده را تحلیل کند و آن را با پیگیری نوری از ASAS-SN همبسته سازد. گردش کاری شامل موارد زیر است: الف) پردازش ترابایت داده فوتون خام (Fermi) روی یک مزرعه HTC بهینهشده برای I/O بالا. ب) اجرای شبیهسازیهای مونتکارلو برای بازسازی رویداد نوترینو (IceCube) روی یک خوشه HPC با هستههای زیاد. ج) انجام تحلیل تصویر روی دادههای نوری با استفاده از گرههای GPU.
اجرای فدرال از طریق Compute4PUNCH/Storage4PUNCH:
1. کاربر یک توصیف گردش کاری سطح بالا (مانند استفاده از زبان گردش کاری مشترک - CWL) را از طریق JupyterHub ارسال میکند.
2. توکن AAI کاربر را در تمام سیستمها احراز هویت میکند.
3. رویه HTCondor، تحت هدایت COBalD/TARDIS، گراف DAG گردش کاری را تحلیل میکند:
- وظیفه الف تطبیق داده شده و به کارگران HTC نزدیک به ذخیرهسازی مبتنی بر dCache در DESY ارسال میشود.
- نیازمندی وظیفه ب به ۱۰۰۰۰ ساعت CPU باعث میشود TARDIS اسلاتهایی را روی یک خوشه HPC مبتنی بر Slurm در KIT تأمین کند.
- وظیفه ج به یک پارتیشن GPU در دانشگاه بن فرستاده میشود.
4. همه وظایف پشته نرمافزاری تحلیل یکسان (Python، کتابخانههای علمی خاص) را از مخزن CVMFS مربوط به PUNCH دریافت میکنند.
5. دادههای میانی از طریق فضای نام فدرال Storage4PUNCH (مانند استفاده از XRootD) مبادله میشوند و فایلهای کالیبراسیون پرتکرار از یک کش منطقهای سرویس میشوند.
6. نتایج نهایی تجمیع و به کاربر بازگردانده میشوند.
این مورد ارزش پیشنهادی را نشان میدهد: فیزیکدان با یک زیرساخت منطقی واحد تعامل میکند به جای اینکه ورودهای جداگانه، نصب نرمافزار و انتقال داده را در سه سیستم متمایز مدیریت کند.
7. بینش کلیدی و دیدگاه تحلیلگر
بینش کلیدی: PUNCH4NFDI در حال ساخت یک ابررایانه یکپارچه دیگر نیست؛ بلکه در حال مهندسی یک لایه فدراسیون است — یک "سیستم عامل فراملی" برای محاسبات پژوهشی ناهمگون در مقیاس ملی. نوآوری واقعی آن، هماهنگی عملگرایانه منابع موجود و جدا شده از نظر سیاسی به یک سامانه منسجم است که حداقل مداخله را بر خلوص فناوری اولویت میدهد. این بیشتر شبیه یک سیستم کنترل ترافیک هوایی پیچیده در سطح اتحادیه اروپا برای وظایف محاسباتی است تا سیستم Borg گوگل.
جریان منطقی: منطق به زیبایی بازگشتی است. با یک محدودیت غیرقابل مذاکره شروع کنید: عملیات موجود جوامع علمی را مختل نکنید. این امر یک معماری مبتنی بر کشش و رویهای (HTCondor + TARDIS) را به جای یک زمانبند متمرکز مبتنی بر فشار تحمیل میکند. این رویه، به نوبه خود، مستلزم یک مکانیزم تحویل نرمافزار جهانی (CVMFS/کانتینرها) و یک لایه هویت یکپارچه (توکن AAI) است. فدراسیون ذخیرهسازی نیز مسیری موازی را دنبال میکند و از ابزارهای آزمودهشده HEP (dCache/XRootD) بهره میبرد. کل این جریان یک کلاس استادانه در طراحی مبتنی بر محدودیت است، جایی که هر انتخاب فنی نتیجه مستقیم واقعیت اجتماعی-سیاسی همکاری چندمؤسسهای است.
نقاط قوت و ضعف:
نقاط قوت: معماری به طرز درخشانی قابل فدرال شدن است. این معماری به صورت طراحیشده، حکمرانی را به صورت افقی مقیاس میدهد و موانع را برای ارائهدهندگان منابع جدید کاهش میدهد. استفاده از HTCondor و CVMFS از دههها اعتماد جامعه و تخصص عملیاتی حاصل از همکاریهای LHC بهره میبرد و ریسک فنی را کاهش میدهد. تمرکز بر منابع "نوعی" از نظر مالی پایدار است و مسئله تکهتکهشدگی را به یک مزیت تنوع تبدیل میکند.
نقاط ضعف: فیل در اتاق، سربار عملکرد است. زمانبندی دوگانه (فرابرنامهریز + سیستم دستهای محلی) و مدل وظیفه پایلوت به ناچار تأخیر اضافه میکنند و آن را برای وظایف MPI با اتصال محکم و دانهریز — که یک محدودیت مهم برای بارهای کاری HPC خالص است — نامناسب میسازند. اتکا به CVMFS، اگرچه قوی است، یک نقطه شکست منفرد برای تحویل نرمافزار ایجاد میکند و ممکن است با کدهای بسیار اختصاصی یا دارای مجوز مشکل داشته باشد. علاوه بر این، همانطور که در اصول داده FAIR اشاره شده است، قابلیت تعامل واقعی نیازمند فراداده غنی است؛ توصیف فعلی Storage4PUNCH به نظر میرسد بسیار بر دسترسی در سطح بایت متمرکز است، نه کشف معنایی.
بینشهای قابل اجرا:
1. برای تیم PUNCH: بر مشخصهیابی عملکرد تمرکز مضاعف کنید. معیارهای شفافی را منتشر کنید که توان عملیاتی و تأخیر وظایف فدرال در مقابل بومی را برای گردشهای کاری متعارف مقایسه میکند. این داده برای متقاعد کردن مدیران و کاربران مراکز HPC شکآمیز حیاتی است. به طور پیشدستانه یک مدل پشتیبانی "سطح ۱" برای خود لایه فدراسیون توسعه دهید؛ پیچیدگی آن به یک وابستگی حیاتی تبدیل میشود.
2. برای سایر کنسرسیومها (مانند بیوانفورماتیک یا علوم آب و هوا): فقط پشته فناوری را کپی نکنید. مدل حکمرانی را که آن را ممکن ساخته کپی کنید. درس کلیدی، توافق "مشارکت نوعی" است که انگیزههای مؤسسهای را همسو میکند. همانطور که PUNCH انجام داد، با فدرالسازی احراز هویت و توزیع نرمافزار شروع کنید؛ اینها زیربنایی هستند.
3. برای آژانسهای تأمین مالی (DFG، EU): این مدل باید الگویی برای فراخوانهای آینده زیرساختهای پژوهشی ملی باشد. "چسب" (هماهنگی، توسعه عملیات هسته برای لایه فدراسیون) را تأمین مالی کنید و اجازه دهید مؤسسات "آجرها" (محاسبات/ذخیرهسازی واقعی) را تأمین مالی کنند. این امر از سرمایهگذاریهای موجود به طور مؤثرتری نسبت به ساخت تأسیسات متمرکز جدید بهره میبرد، اصلی که در چشمانداز استراتژیک ابر علم باز اروپا (EOSC) نیز بازتاب یافته است.
در نتیجه، Compute4PUNCH و Storage4PUNCH نمایانگر یک مدل بالغ، عملگرا و بسیار قابل تکرار برای زیرساخت علم در مقیاس بزرگ قرن بیست و یکم هستند. این مدل مقداری از عملکرد نظری را در ازای دستاوردهای عظیم در دسترسیپذیری، تابآوری و امکانپذیری سیاسی معامله میکند. موفقیت آن نه با FLOPS، بلکه با تعداد دانشجویان دکتری که میتوانند تحلیل خود را بدون تبدیل شدن به مدیران سیستم متخصص برای پنج خوشه مختلف تکمیل کنند، اندازهگیری خواهد شد.
8. کاربردهای آینده و نقشه راه توسعه
زیرساخت PUNCH4NFDI پایهای برای چندین پیشرفت آینده فراهم میکند:
- یکپارچهسازی با گردشهای کاری یادگیری ماشین: فدراسیون را میتوان برای پشتیبانی از شتابدهندههای تخصصی هوش مصنوعی/یادگیری ماشین (مانند پادهای NVIDIA DGX، TPUهای گوگل) به عنوان یک نوع منبع گسترش داد. چارچوبهایی مانند Kubeflow میتوانند در کنار HTCondor یکپارچه شوند و TARDIS مدیریت جایگذاری وظایف ترکیبی در منابع سنتی HTC و منابع متمرکز بر ML را بر عهده بگیرد.
- جایگذاری پیشکننده داده و زمانبندی آگاه از گردش کاری: فراتر از کش، سیستم میتواند مرحلهبندی داده پیشبینانه را پیادهسازی کند. با تحلیل گرافهای DAG گردش کاری ارسالشده توسط کاربران، میتواند مجموعه دادههای مورد نیاز را از نقاط پایانی دور Storage4PUNCH به کشهای محلی نزدیک به منابع محاسباتی زمانبندیشده، قبل از شروع اجرای وظیفه، پیشبارگیری کند و به طور مؤثر تأخیر انتقال داده را پنهان کند. این امر نیازمند یکپارچهسازی تنگاتنگتر بین فرابرنامهریز محاسباتی و فضای نام و دادههای نظارتی فدراسیون ذخیرهسازی است.
- گسترش به رایانش لبه: برای حوزههایی مانند اخترشناسی رادیویی یا فیزیک نوترینو، که حسگرها جریانهای عظیم داده تولید میکنند، مدل فدراسیون میتواند سایتهای رایانشی لبه را نیز دربرگیرد. عاملهای سبکوزن TARDIS میتوانند در رصدخانهها اجرا شوند و وظایف پیشپردازش را از صف مرکزی دریافت کنند تا دادهها را در محل فیلتر و کاهش دهند و سپس فقط رویدادهای مرتبط را به ذخیرهسازی مرکزی انتقال دهند.
- رایانش سبز و زمانبندی آگاه از کربن: فرابرنامهریز را میتوان با دادههای شدت کربن از شبکههای برق در سراسر آلمان تقویت کرد. سپس میتواند وظایف را ترجیحاً به مراکز داده در مناطقی با نفوذ بالای انرژی تجدیدپذیر (مانند نیروی باد در شمال) در زمان اوج تولید مسیریابی کند و ردپای کربن محاسبات در مقیاس بزرگ را به حداقل برساند — اولویتی در حال ظهور برای زیرساختهای پژوهشی که توسط ابتکار Carbon Call بنیاد لینوکس برجسته شده است.
- فدراسیون بینالمللی با شرکای خارجی: گام منطقی بعدی، اتصال فدراسیون آلمانی PUNCH به زیرساختهای مشابه در خارج از کشور، مانند شبکه محاسباتی جهانی LHC (WLCG)، شبکه علم باز (OSG) یا ابر علم باز اروپا (EOSC) است. این امر یک زیرساخت پژوهشی جهانی و چندرشتهای ایجاد خواهد کرد، اگرچه چالشهای قابل توجهی در همسویی سیاستها، امنیت و حسابداری ایجاد خواهد کرد.
9. مراجع
- کنسرسیوم PUNCH4NFDI. "PUNCH4NFDI - ذرات، کیهان، هستهها و هادرونها برای NFDI." کتاب سفید، ۲۰۲۱.
- Thain, D., Tannenbaum, T., & Livny, M. "Distributed computing in practice: the Condor experience." Concurrency - Practice and Experience, 17(2-4), 323-356, 2005. https://doi.org/10.1002/cpe.938
- Blomer, J., et al. "CernVM-FS: delivering scientific software to globally distributed computing resources." International Journal of High Performance Computing Applications, 28(2), 158-174, 2014. https://doi.org/10.1177/1094342013509700
- Giffels, M., et al. "COBalD/TARDIS – Dynamic, Pilot-based Resource Provisioning for a Federated HTCondor Pool." In Proceedings of CHEP 2018, 2018.
- Wilkinson, M. D., et al. "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3:160018, 2016. https://doi.org/10.1038/sdata.2016.18
- European Commission. "European Open Science Cloud (EOSC) Strategic Implementation Roadmap." 2018.
- Linux Foundation. "Carbon Call: A Global Initiative for Reliable Carbon Accounting." 2022. https://www.linuxfoundation.org/research/carbon-call
- Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks." In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017. (به عنوان نمونهای از یک بار کاری محاسباتی پیچیده که میتواند از دسترسی فدرال و ناهمگون به منابع بهرهمند شود، ذکر شده است).