Compute4PUNCH & Storage4PUNCH: Федеративная инфраструктура для физики частиц, астрофизики и ядерной физики

1. Введение

Консорциум PUNCH4NFDI (Частицы, Вселенная, Ядра и Адроны для Национальной исследовательской инфраструктуры данных), финансируемый Немецким научно-исследовательским сообществом (DFG), объединяет около 9000 ученых из сообществ физики частиц, астрофизики, астрочастиц, адронной и ядерной физики Германии. Будучи частью национальной инициативы NFDI, его главная цель — создание федеративной и FAIR (находимой, доступной, совместимой, повторно используемой) платформы научных данных. Эта платформа призвана обеспечить бесшовный доступ к разнообразным и гетерогенным вычислительным и хранилищным ресурсам, предоставленным учреждениями-участниками, решая общую задачу анализа экспоненциально растущих объемов данных с помощью сложных алгоритмов. В данном документе подробно описаны концепции Compute4PUNCH и Storage4PUNCH, разработанные для федерации этих ресурсов.

2. Федеративная гетерогенная вычислительная инфраструктура – Compute4PUNCH

Compute4PUNCH решает задачу эффективного использования широкого спектра предоставленных в натуральной форме ресурсов для высокопроизводительных вычислений (HPC), вычислений с высокой пропускной способностью (HTC) и облачных ресурсов, распределенных по всей Германии. Эти ресурсы различаются по архитектуре, ОС, программному обеспечению и системам аутентификации и уже используются для других целей, что ограничивает возможности их модификации.

3. Федеративная инфраструктура хранения данных – Storage4PUNCH

Storage4PUNCH фокусируется на федерации систем хранения данных, предоставляемых сообществом, в основном на основе технологий dCache и XRootD, которые хорошо зарекомендовали себя в физике высоких энергий (HEP). Федерация создает общее пространство имен и уровень доступа. Концепция также оценивает существующие технологии для:

• Кэширования: Для уменьшения задержки доступа к данным и снижения трафика глобальной сети, аналогично концепциям, используемым в глобальных гридах данных, таких как Worldwide LHC Computing Grid (WLCG).
• Обработки метаданных: Стремление к более глубокой интеграции для обеспечения обнаружения данных на основе атрибутов метаданных, выходя за рамки простого определения местоположения файла.

Совместная среда Compute4PUNCH и Storage4PUNCH позволяет исследователям выполнять ресурсоемкие задачи анализа, требующие скоординированного доступа как к вычислительной мощности, так и к большим наборам данных.

4. Технические детали и математическая модель

Планирование ресурсов COBalD/TARDIS можно смоделировать как задачу оптимизации. Пусть $J = \{j_1, j_2, ..., j_n\}$ — множество заданий в очереди HTCondor, а $P = \{p_1, p_2, ..., p_m\}$ — пул доступных ресурсов (локальных и внешних). Каждое задание $j_i$ имеет требования $R_i$ (ядра ЦП, память, GPU, ПО). Каждый ресурс $p_k$ имеет возможности $C_k$ и функцию стоимости $\text{Cost}(p_k, t)$, которая может быть денежной или основанной на приоритете/кредитах.

Цель мета-планировщика — найти отображение $M: J \rightarrow P$, которое минимизирует общую стоимость или время выполнения при соблюдении ограничений: $$\text{минимизировать } \sum_{j_i \in J} \text{Cost}(M(j_i), t)$$ $$\text{при условии } R_i \subseteq C_{M(j_i)} \text{ для всех } j_i \in J.$$ COBalD использует эвристические или машинно-обучаемые стратегии для решения этой динамической задачи онлайн-оптимизации по мере изменения заданий и доступности ресурсов.

5. Экспериментальные результаты и производительность прототипа

В документе сообщается о первоначальном опыте работы с научными приложениями на доступных прототипах. Хотя конкретные показатели бенчмарков в предоставленном отрывке не детализированы, успешное выполнение разнообразных приложений сообщества подтверждает архитектуру. Типичные ключевые показатели эффективности (KPI) для такой федерации включают:

• Пропускная способность заданий: Количество заданий, выполненных за день в федеративной системе.
• Использование ресурсов: Процент времени активного использования предоставленных ресурсов (особенно внешних, масштабируемых), демонстрирующий эффективность динамического предоставления ресурсов COBalD.
• Эффективность передачи данных: Задержка и пропускная способность для заданий, обращающихся к данным из федерации Storage4PUNCH, что критически важно для анализов с интенсивным вводом-выводом.
• Удовлетворенность пользователей: Снижение сложности отправки заданий и времени ожидания, измеряемое с помощью опросов пользователей.

Фаза прототипа имеет решающее значение для стресс-тестирования интеграции AAI, надежности наложения HTCondor и масштабируемости CVMFS для поставки программного обеспечения тысячам параллельных заданий.

6. Фреймворк анализа: пример сценария использования

Сценарий: Исследователю в области ядерной физики необходимо обработать 1 Петабайт данных детектора с использованием сложной цепочки моделирования методом Монте-Карло.

1. Доступ: Исследователь входит в PUNCH JupyterHub, используя учетные данные своего учреждения (через токен-ориентированную AAI).
2. Программное обеспечение: Его ноутбук автоматически монтирует необходимый стек программного обеспечения из CVMFS и создает контейнер со специфическими библиотеками моделирования.
3. Данные: Код в ноутбуке ссылается на данные, используя федеративное пространство имен Storage4PUNCH (например, `root://punch-federation.de/path/to/data`). Протоколы XRootD обрабатывают определение местоположения и передачу.
4. Вычисления: Исследователь отправляет 10 000 параллельных заданий через Python-обертку, взаимодействующую с REST API HTCondor. COBalD/TARDIS динамически предоставляет смесь локальных рабочих узлов HTCondor и масштабируемых узлов облака HPC для обработки пиковой нагрузки.
5. Оркестрация: HTCondor управляет жизненным циклом заданий. Результаты записываются обратно в федеративное хранилище. Исследователь отслеживает прогресс через панель управления JupyterHub.

Этот сценарий демонстрирует бесшовную интеграцию, к которой стремится фреймворк, абстрагируя сложность инфраструктуры.

7. Будущие приложения и план развития

Инфраструктура PUNCH4NFDI является образцом для федерации исследований национального масштаба.

• Межконсорциумная федерация: Модель может быть расширена на другие консорциумы NFDI (например, для наук о жизни, инженерии), создавая истинную основу Национальной исследовательской инфраструктуры данных. Ключевыми будут межконсорциумная AAI и соглашения об обмене ресурсами.
• Интеграция периферийных и квантовых ресурсов: По мере развития периферийных вычислений (для предварительной обработки данных приборов) и квантовых вычислений архитектура мета-планировщика может быть расширена для включения их в качестве специализированных типов ресурсов.
• Оптимизация рабочих нагрузок ИИ/МО: Алгоритмы планирования могут интегрировать предикторы времени выполнения заданий ИИ/МО (аналогично подходам в проектах, таких как `Optuna` или `Ray Tune`) для дальнейшей оптимизации размещения, особенно для ресурсов GPU.
• Расширенные метаданные и озера данных: Более глубокая интеграция каталогов метаданных может превратить Storage4PUNCH в активное озеро данных, обеспечивая центрированное на данных планирование, при котором вычислительные задания отправляются к местоположению данных.
• Фокус на устойчивости: Будущие версии могут оптимизироваться по углеродному следу, предпочтительно планируя задания в центры обработки данных с более высокой долей возобновляемой энергии, что согласуется с инициативами «зеленых» вычислений, такими как `Европейский зеленый курс`.

8. Ссылки

1. Консорциум PUNCH4NFDI. (2024). «Белая книга PUNCH4NFDI». NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). «Распределенные вычисления на практике: опыт Condor». Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). «COBalD/TARDIS – Гибкое предоставление ресурсов для пулов HTCondor». Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). «Файловая система виртуальных машин ЦЕРН: Масштабируемая, надежная и эффективная система распространения программного обеспечения». Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). «Федерация хранилищ с XRootD и dCache». https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). «Руководящие принципы FAIR для управления научными данными и их сохранения». Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. Перспектива аналитика: Ключевая идея, логика, сильные и слабые стороны, практические рекомендации

Ключевая идея: PUNCH4NFDI не строит новый суперкомпьютер; он строит операционную систему федерации. Его реальное новшество — прагматичный, overlay-подход, который объединяет существующие, бюрократизированные и гетерогенные институциональные ресурсы в единую, удобную для пользователя платформу. Это в меньшей степени связано с технологическим прорывом, а в большей — с социотехнической оркестрацией в национальном масштабе. Он напрямую противостоит «трагедии общин» в исследовательских вычислениях, где ресурсы разрознены и недозагружены, создавая управляемый рынок для вычислительных циклов и байтов хранения.

Логика: Логика безупречно прагматична. 1) Принять гетерогенность как данность: Вместо принудительной стандартизации (политически неприемлемой) они абстрагируются от нее с помощью HTCondor и контейнеров. 2) Минимизировать трение для провайдеров: Модель COBalD/TARDIS гениальна — это паразитический планировщик, который не требует от центров HPC изменения их локальных политик, что делает внедрение приемлемым. 3) Максимизировать простоту для пользователей: JupyterHub и токен-AAI — это ключевые функции для внедрения, скрывающие огромную сложность бэкенда за вкладкой браузера. 4) Использовать доверие сообщества: Создание на основе проверенных инструментов HEP (dCache, XRootD, CVMFS) не только технически обоснованно; это обеспечивает мгновенную доверительность и снижает операционные риски.

Сильные и слабые стороны: Сильная сторона — это возможность развертывания. Это не фантазия из исследовательской статьи; это рабочий прототип, использующий зрелые компоненты с открытым исходным кодом. Видение федеративного хранилища, если оно будет полностью реализовано с метаданными, может быть преобразующим. Однако слабые стороны кроются в стыках. Производительность уровня мета-планировщика и перемещение данных по глобальной сети могут свести на нет преимущества для тесно связанных приложений HPC. Модель по своей сути лучше всего подходит для высокопроизводительных, слабо связанных рабочих нагрузок. Также существует бомба замедленного действия в управлении: кто расставляет приоритеты заданий, когда спрос превышает федеративное предложение? В документе умалчивается о неизбежных политических баталиях вокруг алгоритмов справедливого распределения и атрибуции затрат между учреждениями. Наконец, хотя они упоминают «облачные» ресурсы, экономическая модель для масштабирования на коммерческие облака (AWS, Google Cloud) с реальными деньгами, а не только кредитами, — это неисследованная территория, чреватая бюджетными рисками.

Практические рекомендации: 1) Для других консорциумов: Немедленно скопируйте этот образец. Архитектурный шаблон пригоден для повторного использования. Начните с AAI и простого шлюза заданий. 2) Для самого PUNCH4NFDI: Опубликуйте точные данные о производительности. Они должны прозрачно показать накладные расходы федерации по сравнению с нативным доступом, чтобы построить доверие. 3) Разработайте детальную, многомерную политику справедливого распределения СЕЙЧАС, до возникновения конфликтов. Привлеките юристов и бухгалтеров, а не только физиков. 4) Изучите интеграцию с менеджерами рабочих процессов (Nextflow, Snakemake). Они становятся де-факто стандартом для воспроизводимой науки; нативная интеграция была бы большим успехом. 5) Рассмотрите «Модель зрелости федерации» для постепенного подключения поставщиков ресурсов, от простого пакетного доступа до полного совместного планирования данных и вычислений. Это не просто инфраструктура; это новая модель организации национального исследовательского потенциала. Ее успех будет зависеть от управления и поддержки сообщества в той же степени, что и от элегантности кода.