Compute4PUNCH & Storage4PUNCH: 입자, 천체, 핵물리학을 위한 연합 인프라

1. 서론

PUNCH4NFDI (국가연구데이터인프라를 위한 입자, 우주, 핵 및 하드론) 컨소시엄은 독일연구재단(DFG)의 지원을 받으며, 독일의 입자물리학, 천체물리학, 천체입자물리학, 하드론물리학, 핵물리학 커뮤니티의 약 9,000명의 과학자를 대표합니다. 국가 NFDI 이니셔티브 내에 자리 잡은 이 컨소시엄의 주요 목표는 연합적이고 FAIR (검색 가능, 접근 가능, 상호 운용 가능, 재사용 가능) 과학 데이터 플랫폼을 구축하는 것입니다. 이 플랫폼은 회원 기관들이 기여한 다양하고 이기종적인 컴퓨팅 및 스토리지 자원에 대한 원활한 접근을 제공하여, 복잡한 알고리즘으로 기하급수적으로 증가하는 데이터 볼륨을 분석하는 공통의 과제를 해결하는 것을 목표로 합니다. 본 문서는 이 연합 인프라의 중추를 이루는 Compute4PUNCH와 Storage4PUNCH의 기술적 개념에 초점을 맞춥니다.

2. 연합 이기종 컴퓨팅 인프라 – Compute4PUNCH

Compute4PUNCH는 독일 전역에 분산된 다양한 현물 기여형 고처리량 컴퓨팅(HTC), 고성능 컴퓨팅(HPC), 클라우드 자원을 효과적으로 활용하는 과제를 다룹니다. 이러한 자원들은 아키텍처, 운영 체제, 소프트웨어 스택, 인증 메커니즘에 있어 다양합니다.

2.1. 핵심 아키텍처 및 오버레이 시스템

Compute4PUNCH의 초석은 HTCondor를 기반으로 한 연합 오버레이 배치 시스템의 구축입니다. 핵심 혁신은 COBalD/TARDIS 자원 메타 스케줄러의 사용입니다. TARDIS (TARDIS Acts as a Resource Dispatcher for In-place Scheduling)는 외부의 이기종 자원을 HTCondor 풀에 동적이고 투명하게 통합합니다. 이는 "파일럿" 시스템 역할을 하여, 외부 클러스터(예: Slurm 기반 HPC 시스템)에 플레이스홀더 작업을 제출하면, 이 클러스터가 중앙 HTCondor 큐에서 실제 사용자 작업을 가져와 실행합니다. 이 접근 방식은 자원 제공자의 기존 운영 설정에 대한 간섭을 최소화하며, 이는 채택에 있어 중요한 요구사항입니다.

자원 매칭 및 스케줄링 로직은 최적화 함수로 추상적으로 표현될 수 있습니다. $R = \{r_1, r_2, ..., r_n\}$를 사용 가능한 이기종 자원의 집합이라고 하자. 각 자원은 아키텍처 $arch(r_i)$, 사용 가능한 코어 $c(r_i)$, 메모리 $m(r_i)$, 큐 대기 시간 $w(r_i)$와 같은 속성을 가집니다. $J = \{j_1, j_2, ..., j_m\}$를 요구사항 $req(j_k)$를 가진 사용자 작업의 집합이라고 하자. 메타 스케줄러의 목표는 효율성과 공정성의 가중 합인 목적 함수 $F$를 최대화하는 매핑 $M: J \rightarrow R$을 찾는 것입니다:

$F(M) = \alpha \cdot \sum_{j_k} U(j_k, M(j_k)) - \beta \cdot \sum_{r_i} L(r_i, M^{-1}(r_i))$

여기서 $U$는 자원이 작업의 요구사항(CVMFS를 통한 소프트웨어 환경 호환성 고려)을 얼마나 잘 충족시키는지 측정하는 효용 함수이고, $L$은 단일 자원의 과다 구독에 패널티를 부과하는 부하 함수입니다. COBalD/TARDIS는 이 동적이고 온라인인 스케줄링 문제를 휴리스틱하게 해결합니다.

2.2. 접근 및 소프트웨어 환경

사용자 접근은 토큰 기반 인증 및 권한 부여 인프라(AAI)를 통해 표준화됩니다. 주요 진입점은 전통적인 로그인 노드와 JupyterHub 서비스로, 대화형 분석 및 프로토타이핑을 위한 친숙한 웹 기반 인터페이스를 제공합니다.

다양한 소프트웨어 의존성을 처리하기 위해 인프라는 컨테이너 기술(예: Docker, Singularity/Apptainer)과 CERN 가상 머신 파일 시스템(CVMFS)을 활용합니다. CVMFS는 소프트웨어 설치를 위한 확장 가능하고 읽기 전용이며 전 세계적으로 분산된 네임스페이스를 제공합니다. 커뮤니티별 소프트웨어 스택은 CVMFS 저장소에 게시되어, 물리적 위치에 관계없이 모든 컴퓨팅 노드가 필요한 소프트웨어 환경을 즉시이고 일관되게 접근할 수 있게 하여 로컬 설치 오버헤드를 제거합니다.

3. 연합 스토리지 인프라 – Storage4PUNCH

Storage4PUNCH는 주로 dCache 또는 XRootD 기술을 기반으로 하는 커뮤니티 제공 스토리지 시스템을 연합하는 데 중점을 둡니다. 이 두 기술은 고에너지 물리학(HEP)에서 잘 정립되어 있습니다.

3.1. 연합 및 캐싱 전략

연합은 통합된 네임스페이스를 생성하여, 사용자가 여러 기관의 스토리지 요소에 걸친 데이터를 마치 단일 시스템인 것처럼 접근할 수 있게 합니다. 이를 달성하기 위해 XRootD의 연합 프로토콜 및 dCache의 프론트엔드 풀링과 같은 기술이 사용됩니다. 시스템은 지능형 데이터 위치 파악 및 라우팅을 수행합니다.

평가 중인 중요한 구성 요소는 캐싱입니다. 글로벌 또는 지역 캐시 계층은 자주 접근되는 데이터셋에 대한 지연 시간과 광역 네트워크 부하를 크게 줄일 수 있습니다. 크기 $S$인 캐시의 데이터 접근 패턴에 대한 적중률 $H$는 모델링될 수 있습니다. 데이터 항목 $d_i$에 접근할 확률이 Zipf-like 분포 $P(i) \sim 1 / i^{\alpha}$를 따른다면, LRU 캐시의 예상 적중률은 대략 다음과 같습니다:

$H(S) \approx \sum_{i=1}^{S} P(i)$

여기서 $\alpha$는 왜곡 매개변수입니다. 높은 데이터 재사용(분석 체인에서 흔함)이 있는 과학 워크플로우의 경우, 중간 규모의 캐시라도 높은 $H$를 산출하여 배치를 정당화할 수 있습니다. 이 프로젝트는 또한 더 깊은 통합을 위한 메타데이터 처리 솔루션을 평가 중이며, 단순한 파일 접근뿐만 아니라 연합 전반에 걸친 데이터 발견 기능을 제공하는 것을 목표로 합니다.

4. 기술적 세부사항 및 수학적 프레임워크

연합의 성능은 효율적인 자원 발견 및 스케줄링에 달려 있습니다. 시스템 상태는 그래프 $G=(V,E)$로 모델링될 수 있으며, 여기서 정점 $V$는 자원(컴퓨팅 노드, 스토리지 엔드포인트)을 나타내고, 간선 $E$는 대역폭 $bw(e)$와 지연 시간 $lat(e)$를 가진 네트워크 링크를 나타냅니다. 워크플로우 $W$는 데이터 의존성 $D$를 가진 작업 $T$의 방향성 비순환 그래프(DAG)입니다.

스케줄링 문제는 다음과 같습니다: 각 작업 $t \in T$를 컴퓨팅 자원 $r_c \in V_c$에 배치하고, 필요한 입력 데이터를 스토리지 자원 $r_s \in V_s$에서 라우팅하여 총 완료 시간(워크플로우 완료 시간)을 제약 조건 하에서 최소화합니다:

$\text{minimize } \max_{t \in T} (ft(t))$
subject to:
$\forall r \in V_c, \sum_{t placed\ on\ r} c(t) \leq C(r)$ (CPU 용량)
$\forall d \in D, \text{transfer\_time}(d) = \frac{size(d)}{\min\_bw(path)} + \sum_{e \in path} lat(e)$

여기서 $ft(t)$는 작업 $t$의 완료 시간, $c(t)$는 CPU 요구량, $C(r)$은 자원 $r$의 용량입니다. 연합 시스템은 HTCondor와 COBalD/TARDIS 내의 휴리스틱 알고리즘을 사용하여 이 NP-난제 문제에 대한 해를 실시간으로 근사합니다.

5. 실험 결과 및 프로토타입 성능

본 문서는 운영 중인 프로토타입에 대한 초기 경험을 보고합니다. 제공된 발췌문에는 구체적인 정량적 벤치마크가 상세히 설명되어 있지 않지만, 텍스트는 연합 인프라에서 과학 응용 프로그램의 성공적인 실행을 암시합니다.

차트 설명 (추론된 성능 지표): 가상의 성능 차트는 시간에 따른 두 가지 주요 지표를 보여줄 가능성이 높습니다: 1) 연합 풀 전반의 집계 자원 활용률. 이는 오버레이 시스템이 서로 다른 기여 센터 간의 용량 격차를 효과적으로 채우는 방법을 보여줍니다. 2) 작업 처리 시간을 연합 시나리오와 격리된 자원 사용을 비교합니다. 연합 시스템은 평균 및 처리 시간의 변동성이 더 낮을 것이며, 특히 유연한 자원 요구사항을 가진 작업의 경우 가장 짧은 큐를 가진 자원으로 라우팅될 수 있기 때문입니다. TARDIS를 통한 HPC 자원 통합은 파일럿 작업 메커니즘으로 인해 초기에 지연 시간을 추가하는 별도의 곡선을 보여주지만, 적합한 워크로드에 대해 그렇지 않으면 사용할 수 없는 고코어 수 노드에 대한 접근을 제공할 것입니다.

CVMFS 사용은 균일한 소프트웨어 환경을 성공적으로 제공한 것으로 보고되며, 이는 사용자 채택에 있어 중요한 성공 요인입니다. 토큰 기반 AAI는 안전한 다기관 접근을 위한 필요한 기반을 제공하기 위해 구현되었습니다.

6. 분석 프레임워크: 개념적 사례 연구

사례: 다중 메신저 천체물리학 분석. 천체입자물리학자는 페르미-LAT와 아이스큐브에서 감지된 감마선 폭발(GRB) 데이터를 분석하고, 이를 ASAS-SN의 광학 후속 관측과 상관관계를 분석해야 합니다. 워크플로우는 다음을 포함합니다: A) 고 I/O에 최적화된 HTC 팜에서 테라바이트 규모의 원시 광자 데이터(페르미) 처리. B) 많은 코어를 가진 HPC 클러스터에서 중성미자 이벤트 재구성을 위한 몬테카를로 시뮬레이션(아이스큐브) 실행. C) GPU 노드를 사용하여 광학 데이터에 대한 이미지 분석 수행.

Compute4PUNCH/Storage4PUNCH를 통한 연합 실행:
1. 사용자는 JupyterHub를 통해 단일의 고수준 워크플로우 설명(예: Common Workflow Language - CWL 사용)을 제출합니다.
2. AAI 토큰이 모든 시스템에서 사용자를 인증합니다.
3. HTCondor 오버레이는 COBalD/TARDIS의 지도 하에 워크플로우 DAG를 분석합니다:
- 작업 A는 DESY의 dCache 기반 스토리지 근처 HTC 작업자에게 매칭 및 디스패치됩니다.
- 작업 B의 10,000 CPU-시간 요구사항은 TARDIS가 KIT의 Slurm 기반 HPC 클러스터에서 슬롯을 프로비저닝하도록 트리거합니다.
- 작업 C는 본 대학의 GPU 파티션으로 전송됩니다.
4. 모든 작업은 PUNCH CVMFS 저장소에서 동일한 분석 소프트웨어 스택(Python, 특정 과학 라이브러리)을 가져옵니다.
5. 중간 데이터는 연합 Storage4PUNCH 네임스페이스(예: XRootD 사용)를 통해 교환되며, 자주 접근되는 보정 파일은 지역 캐시에서 제공됩니다.
6. 최종 결과가 집계되어 사용자에게 반환됩니다.

이 사례는 가치 제안을 보여줍니다: 물리학자는 세 가지 별개의 시스템에 걸쳐 별도의 로그인, 소프트웨어 설치, 데이터 전송을 관리하는 대신 단일의 논리적 인프라와 상호작용합니다.

7. 핵심 통찰 및 분석가 관점

핵심 통찰: PUNCH4NFDI는 또 다른 단일형 슈퍼컴퓨터를 구축하는 것이 아닙니다. 이는 국가 규모의 이기종 연구 컴퓨팅을 위한 연합 계층—"메타 운영 체제"를 설계하고 있습니다. 진정한 혁신은 기존의 정치적으로 고립된 자원을 실용적으로 조정하여 일관된 유틸리티로 만드는 데 있으며, 기술적 순수성보다 최소 침해를 우선시합니다. 이는 Google의 Borg보다는 컴퓨팅 작업을 위한 정교한 EU 전역 항공 교통 관제 시스템에 더 가깝습니다.

논리적 흐름: 논리는 우아하게 재귀적입니다. 협상 불가능한 제약 조건으로 시작합니다: 기존 커뮤니티 운영을 방해하지 마십시오. 이는 푸시 기반 중앙 집중식 스케줄러 대신 풀 기반 오버레이 아키텍처(HTCondor + TARDIS)를 강제합니다. 그 오버레이는 차례로 보편적인 소프트웨어 전달 메커니즘(CVMFS/컨테이너)과 통합된 신원 계층(토큰 AAI)을 필요로 합니다. 스토리지 연합은 검증된 HEP 도구(dCache/XRootD)를 활용하는 평행한 트랙을 따릅니다. 전체 흐름은 제약 기반 설계의 모범 사례로, 각 기술적 선택이 다기관 협업의 사회-정치적 현실의 직접적인 결과입니다.

강점과 결점:
강점: 아키텍처는 탁월하게 연합 가능합니다. 설계상 거버넌스를 수평적으로 확장하여 새로운 자원 제공자에 대한 진입 장벽을 낮춥니다. HTCondor와 CVMFS 사용은 LHC 협업으로부터 수십 년간의 커뮤니티 신뢰와 운영 전문 지식을 활용하여 기술적 위험을 줄입니다. "현물" 자원에 초점을 맞추는 것은 재정적으로 지속 가능하며, 분열 문제를 다양성의 이점으로 전환합니다.
결점: 방 안의 코끼리는 성능 오버헤드입니다. 이중 스케줄링(메타 스케줄러 + 로컬 배치 시스템)과 파일럿 작업 모델은 필연적으로 지연 시간을 추가하여, 세밀하게 결합된 MPI 작업에는 적합하지 않습니다. 이는 순수 HPC 워크로드에 대한 상당한 제한 사항입니다. CVMFS에 대한 의존성은 견고하지만 소프트웨어 전달에 대한 단일 장애 지점을 만들며, 고도로 독점적이거나 라이선스가 있는 코드에는 어려움을 겪을 수 있습니다. 더욱이, FAIR 데이터 원칙에서 언급된 바와 같이, 진정한 상호 운용성은 풍부한 메타데이터를 필요로 합니다. 현재 Storage4PUNCH 설명은 바이트 수준 접근에 크게 초점을 맞추고 있으며, 의미론적 발견에는 초점을 맞추지 않은 것으로 보입니다.

실행 가능한 통찰:
1. PUNCH 팀을 위해: 성능 특성화에 집중하십시오. 표준 워크플로우에 대한 연합 대 기본 작업 처리량 및 지연 시간을 비교하는 투명한 벤치마크를 발표하십시오. 이 데이터는 회의적인 HPC 센터 관리자와 사용자를 설득하는 데 중요합니다. 연합 계층 자체에 대한 "1단계" 지원 모델을 적극적으로 개발하십시오. 그 복잡성은 중요한 의존성이 됩니다.
2. 다른 컨소시엄(예: 생물정보학 또는 기후 과학)을 위해: 기술 스택만 복사하지 마십시오. 이를 가능하게 한 거버넌스 모델을 복사하십시오. 핵심 교훈은 기관적 인센티브를 조정하는 "현물 기여" 협정입니다. PUNCH가 그랬듯이 인증 및 소프트웨어 배포를 연합하는 것으로 시작하십시오. 이것들은 기초입니다.
3. 자금 지원 기관(DFG, EU)을 위해: 이 모델은 미래 국가 연구 인프라 공모의 청사진이 되어야 합니다. "접착제"(연합 계층에 대한 조정, 핵심 데브옵스)에 자금을 지원하고 기관이 "벽돌"(실제 컴퓨팅/스토리지)에 자금을 지원하게 하십시오. 이는 새로운 중앙 집중식 시설을 구축하는 것보다 기존 자본 투자를 더 효과적으로 활용하며, 이 원칙은 유럽 오픈 사이언스 클라우드(EOSC) 전략 비전에서도 반영됩니다.

결론적으로, Compute4PUNCH와 Storage4PUNCH는 21세기 대규모 과학 인프라를 위한 성숙하고 실용적이며 매우 복제 가능한 모델을 나타냅니다. 이는 일부 이론적 성능을 접근성, 복원력 및 정치적 실현 가능성의 엄청난 이득과 교환합니다. 그 성공은 FLOPS가 아니라, 다섯 개의 다른 클러스터에 대한 전문 시스템 관리자가 되지 않고도 자신의 분석을 완료할 수 있는 박사 과정 학생의 수로 측정될 것입니다.

8. 미래 응용 및 개발 로드맵

PUNCH4NFDI 인프라는 여러 미래 발전을 위한 기초를 마련합니다:

머신러닝 워크플로우와의 통합: 연합은 특화된 AI/ML 가속기(예: NVIDIA DGX 팟, Google TPU)를 자원 유형으로 지원하도록 확장될 수 있습니다. Kubeflow와 같은 프레임워크가 HTCondor와 함께 통합될 수 있으며, TARDIS는 전통적인 HTC와 ML 중심 자원 간의 하이브리드 작업 배치를 관리할 수 있습니다.
사전 데이터 배치 및 워크플로우 인식 스케줄링: 캐싱을 넘어서, 시스템은 예측적 데이터 스테이징을 구현할 수 있습니다. 사용자가 제출한 워크플로우 DAG를 분석함으로써, 작업 실행이 시작되기 전에 필요한 데이터셋을 원격 Storage4PUNCH 엔드포인트에서 예정된 컴퓨팅 자원 근처의 로컬 캐시로 미리 가져올 수 있어 데이터 전송 지연 시간을 효과적으로 숨길 수 있습니다. 이는 컴퓨팅 메타 스케줄러와 스토리지 연합의 네임스페이스 및 모니터링 데이터 간의 더 긴밀한 통합을 필요로 합니다.
엣지 컴퓨팅으로의 확장: 전파 천문학이나 중성미자 물리학과 같이 센서가 방대한 데이터 스트림을 생성하는 분야의 경우, 연합 모델에 엣지 컴퓨팅 사이트를 통합할 수 있습니다. 경량 TARDIS 에이전트가 관측소에서 실행되어 중앙 큐에서 전처리 작업을 가져와 관련 이벤트만 중앙 스토리지로 전송하기 전에 현장에서 데이터를 필터링하고 축소할 수 있습니다.
그린 컴퓨팅 및 탄소 인식 스케줄링: 메타 스케줄러는 독일 전역의 전력망에서 탄소 집약도 데이터로 강화될 수 있습니다. 그런 다음 대규모 계산의 탄소 발자국을 최소화하기 위해 재생 에너지 침투율이 높은 지역(예: 북부의 풍력)의 데이터 센터로 작업을 우선적으로 라우팅할 수 있습니다. 이는 Linux Foundation의 Carbon Call 이니셔티브에서 강조한 바와 같이 연구 인프라에 대한 새로운 우선순위입니다.
국제 파트너와의 상호 연합: 논리적 다음 단계는 독일 PUNCH 연합을 Worldwide LHC Computing Grid (WLCG), Open Science Grid (OSG), European Open Science Cloud (EOSC)와 같은 해외 유사 인프라와 연결하는 것입니다. 이는 글로벌 다학제 연구 인프라를 만들 것이지만, 정책 조정, 보안 및 회계 측면에서 상당한 도전을 제기할 것입니다.

9. 참고문헌

PUNCH4NFDI 컨소시엄. "PUNCH4NFDI - NFDI를 위한 입자, 우주, 핵 및 하드론." 백서, 2021.
Thain, D., Tannenbaum, T., & Livny, M. "Distributed computing in practice: the Condor experience." Concurrency - Practice and Experience, 17(2-4), 323-356, 2005. https://doi.org/10.1002/cpe.938
Blomer, J., et al. "CernVM-FS: delivering scientific software to globally distributed computing resources." International Journal of High Performance Computing Applications, 28(2), 158-174, 2014. https://doi.org/10.1177/1094342013509700
Giffels, M., et al. "COBalD/TARDIS – Dynamic, Pilot-based Resource Provisioning for a Federated HTCondor Pool." In Proceedings of CHEP 2018, 2018.
Wilkinson, M. D., et al. "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3:160018, 2016. https://doi.org/10.1038/sdata.2016.18
European Commission. "European Open Science Cloud (EOSC) Strategic Implementation Roadmap." 2018.
Linux Foundation. "Carbon Call: A Global Initiative for Reliable Carbon Accounting." 2022. https://www.linuxfoundation.org/research/carbon-call
Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks." In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017. (연합적이고 이기종적인 자원 접근의 혜택을 받을 수 있는 복잡한 계산 워크로드의 예로 인용됨).