CHARM+: Re-Merge Multistream Mechanism 기반의 크로스-하드웨어 어텐션

요약

기존 분산 어텐션 방식은 통신 의존성으로 인해 GPU 활용도가 낮고, 크로스-하드웨어 환경에서 동기화 오버헤드가 발생합니다. 본 논문은 Re-Merge Multistream Mechanism을 기반으로 하는 CHARM+를 제안하여 순차적 통신을 재구성하고 계산 중첩을 달성했습니다. 평가 결과, 기존 최신 방법론 대비 듀얼-노드 NVLink 환경에서 최대 2.9배의 속도 향상을 입증했습니다.

핵심 포인트

• CHARM+는 Re-Merge Multistream Mechanism으로 통신 구조를 재구성합니다.
• 통신 의존성을 줄이고 레벨 내 병렬성 및 계산 중첩을 달성했습니다.
• 하드웨어 간/내부 통신 분리로 동기화 오버헤드를 제거하는 것이 핵심입니다.
• 듀얼-노드 NVLink 아키텍처에서 기존 대비 2.8배~2.9배의 속도 향상을 보였습니다.