Compute4PUNCH & Storage4PUNCH: Infraestrutura Federada para Física de Partículas, Astrofísica e Física Nuclear

1. Introdução

O consórcio PUNCH4NFDI (Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure), financiado pela Fundação Alemã de Investigação (DFG), representa aproximadamente 9.000 cientistas das comunidades de física de partículas, astrofísica, astropartículas, hadrões e física nuclear na Alemanha. Integrado na iniciativa nacional NFDI, o seu principal objetivo é estabelecer uma plataforma de dados científicos federada e FAIR (Findable, Accessible, Interoperable, Reusable). Esta plataforma visa fornecer acesso transparente aos diversos e heterogéneos recursos de computação e armazenamento contribuídos pelas suas instituições membro, abordando o desafio comum de analisar volumes de dados que crescem exponencialmente com algoritmos complexos. Este documento detalha os conceitos Compute4PUNCH e Storage4PUNCH desenvolvidos para federar estes recursos.

2. Infraestrutura Federada de Computação Heterogénea – Compute4PUNCH

O Compute4PUNCH aborda o desafio de utilizar eficazmente uma vasta gama de recursos de computação de alto débito (HTC), computação de alto desempenho (HPC) e cloud, distribuídos por toda a Alemanha e contribuídos em espécie. Estes recursos variam em arquitetura, sistema operativo, software e autenticação, e já estão operacionais para outros fins, limitando o âmbito para modificações.

3. Infraestrutura Federada de Armazenamento – Storage4PUNCH

O Storage4PUNCH centra-se na federação de sistemas de armazenamento fornecidos pela comunidade, baseados principalmente nas tecnologias dCache e XRootD, que estão bem estabelecidas na Física de Altas Energias (HEP). A federação cria um espaço de nomes comum e uma camada de acesso. O conceito também avalia tecnologias existentes para:

• Cache: Para melhorar a latência de acesso a dados e reduzir o tráfego WAN, semelhante aos conceitos utilizados em redes de dados globais como a Worldwide LHC Computing Grid (WLCG).
• Gestão de Metadados: Visando uma integração mais profunda para permitir a descoberta de dados com base em atributos de metadados, indo além da simples localização de ficheiros.

O ambiente combinado Compute4PUNCH e Storage4PUNCH permite que os investigadores executem tarefas de análise exigentes em recursos que requerem acesso coordenado tanto a poder de computação como a grandes conjuntos de dados.

4. Detalhes Técnicos & Enquadramento Matemático

O agendamento de recursos pelo COBalD/TARDIS pode ser modelado como um problema de otimização. Seja $J = \{j_1, j_2, ..., j_n\}$ um conjunto de trabalhos na fila do HTCondor, e $P = \{p_1, p_2, ..., p_m\}$ o conjunto de recursos disponíveis (locais e externos). Cada trabalho $j_i$ tem requisitos $R_i$ (núcleos de CPU, memória, GPU, software). Cada recurso $p_k$ tem capacidades $C_k$ e uma função de custo $\text{Custo}(p_k, t)$, que pode ser monetária ou baseada em prioridade/créditos.

O objetivo do meta-agendador é encontrar um mapeamento $M: J \rightarrow P$ que minimize o custo total ou o tempo de conclusão, satisfazendo as restrições: $$\text{minimizar } \sum_{j_i \in J} \text{Custo}(M(j_i), t)$$ $$\text{sujeito a } R_i \subseteq C_{M(j_i)} \text{ para todos } j_i \in J.$$ O COBalD emprega estratégias heurísticas ou de aprendizagem automática para resolver este problema de otimização dinâmico e online, à medida que os trabalhos e a disponibilidade de recursos mudam.

5. Resultados Experimentais & Desempenho do Protótipo

O artigo relata experiências iniciais com aplicações científicas em protótipos disponíveis. Embora números de benchmark específicos não sejam detalhados no excerto fornecido, a execução bem-sucedida de diversas aplicações da comunidade valida a arquitetura. Os indicadores-chave de desempenho (KPI) para tal federação incluem tipicamente:

• Débito de Trabalhos: Número de trabalhos concluídos por dia em todo o sistema federado.
• Utilização de Recursos: Percentagem de tempo em que os recursos contribuídos (especialmente os externos, expansíveis) são ativamente utilizados, demonstrando a eficiência do aprovisionamento dinâmico do COBalD.
• Eficiência da Transferência de Dados: Latência e largura de banda para trabalhos que acedem a dados da federação Storage4PUNCH, crucial para análises com elevado I/O.
• Satisfação do Utilizador: Redução da complexidade de submissão de trabalhos e do tempo de espera, medido através de inquéritos aos utilizadores.

A fase de protótipo é crucial para testar a integração da AAI, a robustez da sobreposição do HTCondor e a escalabilidade do CVMFS para fornecer software a milhares de trabalhos simultâneos.

6. Enquadramento de Análise: Um Cenário de Caso de Uso

Cenário: Um investigador de física nuclear precisa de processar 1 Petabyte de dados de detetor utilizando uma cadeia complexa de simulação de Monte Carlo.

1. Acesso: O investigador faz login no PUNCH JupyterHub com as suas credenciais institucionais (através da AAI baseada em tokens).
2. Software: O seu notebook monta automaticamente a pilha de software necessária a partir do CVMFS e instancia um contentor com as bibliotecas de simulação específicas.
3. Dados: O código do notebook referencia dados utilizando o espaço de nomes federado Storage4PUNCH (por exemplo, `root://punch-federation.de/caminho/para/dados`). Os protocolos XRootD tratam da localização e transferência.
4. Computação: O investigador submete 10.000 trabalhos paralelos através de um wrapper Python que interage com a API REST do HTCondor. O COBalD/TARDIS aprovisiona dinamicamente uma mistura de workers HTCondor locais e nós de cloud HPC expansíveis para lidar com o pico de carga.
5. Orquestração: O HTCondor gere o ciclo de vida dos trabalhos. A saída é escrita de volta para o armazenamento federado. O investigador monitoriza o progresso através do painel do JupyterHub.

Este cenário demonstra a integração transparente que o enquadramento visa, abstraindo a complexidade da infraestrutura.

7. Aplicações Futuras & Roteiro de Desenvolvimento

A infraestrutura PUNCH4NFDI é um modelo para a federação de investigação à escala nacional.

• Federação Transversal de Consórcios: O modelo poderia estender-se a outros consórcios NFDI (por exemplo, para ciências da vida, engenharia), criando uma verdadeira espinha dorsal da Infraestrutura Nacional de Dados de Investigação. Acordos de AAI e partilha de recursos entre consórcios seriam fundamentais.
• Integração de Recursos de Edge & Quânticos: À medida que a computação de edge (para pré-processamento de dados de instrumentos) e a computação quântica amadurecem, a arquitetura do meta-agendador poderia ser estendida para incorporar estes como tipos de recursos especializados.
• Otimização de Cargas de Trabalho de IA/ML: Os algoritmos de agendamento poderiam integrar preditores para tempos de execução de trabalhos de IA/ML (semelhante a abordagens em projetos como `Optuna` ou `Ray Tune`) para otimizar ainda mais a colocação, especialmente para recursos GPU.
• Metadados Aprimorados & Data Lakes: Uma integração mais profunda de catálogos de metadados poderia evoluir o Storage4PUNCH para um data lake ativo, permitindo o agendamento centrado em dados, onde os trabalhos de computação são enviados para a localização dos dados.
• Foco na Sustentabilidade: Versões futuras poderiam otimizar a pegada de carbono, agendando preferencialmente trabalhos para centros de dados com maior percentagem de energia renovável, alinhando-se com as iniciativas de Computação Verde vistas em projetos como o `Acordo Verde Europeu`.

8. Referências

1. Consórcio PUNCH4NFDI. (2024). "PUNCH4NFDI White Paper." NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Giffels, M., et al. (2022). "COBalD/TARDIS – Agile resource provisioning for HTCondor pools." Journal of Physics: Conference Series, 2438(1), 012077.
4. Blomer, J., et al. (2011). "The CERN Virtual Machine File System: A scalable, reliable, and efficient software distribution system." Journal of Physics: Conference Series, 331(5), 052004.
5. Worldwide LHC Computing Grid (WLCG). "Storage Federation with XRootD and dCache." https://wlcg.web.cern.ch/
6. Wilkinson, M., et al. (2016). "The FAIR Guiding Principles for scientific data management and stewardship." Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18

9. Perspetiva do Analista: Ideia Central, Fluxo Lógico, Pontos Fortes & Fracos, Insights Acionáveis

Ideia Central: O PUNCH4NFDI não está a construir um novo supercomputador; está a construir um sistema operativo de federação. A sua verdadeira inovação é a abordagem pragmática, baseada em sobreposição, que envolve os recursos institucionais existentes, burocráticos e heterogéneos numa única plataforma amigável para o utilizador. Trata-se menos de um avanço tecnológico bruto e mais de uma orquestração sociotécnica à escala nacional. Confronta diretamente a "tragédia dos comuns" na computação de investigação, onde os recursos estão isolados e subutilizados, criando um mercado gerido para ciclos de computação e bytes de armazenamento.

Fluxo Lógico: A lógica é impecavelmente pragmática. 1) Aceitar a Heterogeneidade como um Cidadão de Primeira Classe: Em vez de forçar a padronização (um impasse político), abstraem-na com o HTCondor e contentores. 2) Minimizar o Atrito do Fornecedor: O modelo COBalD/TARDIS é genial — é um agendador parasita que não requer que os centros HPC alterem as suas políticas locais, tornando a adoção aceitável. 3) Maximizar a Simplicidade para o Utilizador: O JupyterHub e a AAI baseada em tokens são as funcionalidades decisivas para a adoção, escondendo uma imensa complexidade de backend atrás de um separador do navegador. 4) Aproveitar a Confiança da Comunidade: Construir sobre ferramentas HEP testadas em batalha (dCache, XRootD, CVMFS) não é apenas tecnicamente sólido; fornece credibilidade instantânea e reduz o risco operacional.

Pontos Fortes & Fracos: O ponto forte é a sua capacidade de implementação. Isto não é uma fantasia de artigo de investigação; é um protótipo funcional que utiliza componentes de código aberto maduros. A visão de armazenamento federado, se totalmente realizada com metadados, poderia ser transformadora. No entanto, as falhas estão nas junções. A sobrecarga de desempenho da camada de meta-agendador e o movimento de dados em área alargada poderiam anular os benefícios para aplicações HPC fortemente acopladas. O modelo é inerentemente melhor para cargas de trabalho de alto débito e fracamente acopladas. Há também uma bomba-relógio de governança: quem prioriza os trabalhos quando a procura excede a oferta federada? O artigo ignora as inevitáveis batalhas políticas sobre algoritmos de partilha justa e atribuição de custos entre instituições. Finalmente, embora mencionem recursos de "Cloud", o modelo económico para expansão para clouds comerciais (AWS, Google Cloud) com dinheiro real, e não apenas créditos, é um território inexplorado repleto de perigo orçamental.

Insights Acionáveis: 1) Para outros consórcios: Copiem este modelo imediatamente. O padrão arquitetónico é reutilizável. Comecem com AAI e um gateway simples de trabalhos. 2) Para o próprio PUNCH4NFDI: Publiquem dados de desempenho concretos. Devem mostrar de forma transparente o custo de sobrecarga da federação versus o acesso nativo para construir confiança. 3) Desenvolvam uma política de partilha justa granular e multidimensional AGORA, antes que surjam conflitos. Envolvam advogados e contabilistas, não apenas físicos. 4) Explorem a integração com gestores de fluxos de trabalho (Nextflow, Snakemake). Estes estão a tornar-se o padrão de facto para a ciência reproduzível; a integração nativa seria uma grande vitória. 5) Considerem um "Modelo de Maturidade da Federação" para integrar gradualmente os fornecedores de recursos, desde o acesso simples em lote até ao co-agendamento completo de dados/computação. Isto não é apenas infraestrutura; é um novo modelo para organizar a capacidade de investigação nacional. O seu sucesso dependerá tanto da governança e da adesão da comunidade como da elegância do seu código.