HPC 상호연결 네트워크의 통신 패턴 및 혼잡 동역학 분석 방법론

슈퍼컴퓨터와 데이터센터에서 상호연결 네트워크(interconnection network)는 핵심 구성 요소입니다. 이 네트워크 설계는 현재 애플리케이션 및 서비스가 요구하는 증가하는 통신 수요를 감당할 수 있어야 하며, 그렇지 않으면 시스템의 병목 현상(system bottleneck)을 초래할 수 있습니다.

네트워크 설계 시 가장 어려운 문제들은 토폴로지(topology), 라우팅 알고리즘(routing algorithm), 플로우 제어(flow control), 그리고 전력 효율성(power efficiency) 등입니다. 하지만, 아무리 효율적인 상호연결 네트워크라 할지라도, 특히 고성능 컴퓨팅(HPC), 딥러닝 학습, 온라인 데이터 집약적 서비스에서 발생하는 특정 네트워크 트래픽 패턴으로 인해 심각한 성능 저하를 겪을 수 있습니다. 이 맥락에서, 이러한 통신 작업을 특성화하고 그들이 생성하는 네트워크 트래픽 패턴을 모델링하는 것은 네트워크 성능 연구의 근본적인 과제입니다.

본 논문은 VEF Traces 프레임워크에 기반한 방법론을 제시하며, 이를 통해 대표적인 컴퓨팅 및 데이터 집약형 애플리케이션들의 통신 패턴을 특성화하고 모델링하며 시뮬레이션할 수 있도록 확장했습니다. 구체적으로는, VEF traces를 직접 사용하거나 시뮬레이션을 통해 네트워크 혼잡(network congestion)을 특성화하는 도구를 추가했습니다.

연구팀은 NEST, GROMACS, LAMMPS, PATMOS와 같은 대표적인 과학 계산 프로그램들을 여러 슈퍼컴퓨터에서 실행하여 얻은 일련의 VEF traces를 분석했습니다. 이러한 연구를 통해, 현실적인 네트워크 구성 환경에서 특정 집합 연산(collective operations)이 수행될 때 발생할 수 있는 잠재적 혼잡 시나리오들을 성공적으로 식별해냈습니다.

결론적으로, 본 방법론은 실제 애플리케이션의 복잡한 통신 요구사항을 반영하여 네트워크 병목 현상을 예측하고 개선하는 데 중요한 기반 지식을 제공합니다.