MI300X에서 TSP는 테스트된 어떤 방식보다도 가장 낮은 메모리 사용량을 보입니다

요약

MI300X 환경에서 TSP 방식은 테스트된 모든 방법 중 가장 낮은 메모리 사용량을 보여줍니다. 특히 64K 컨텍스트에서는 가중치(weight)와 활성화(activation) 모두를 효율적으로 처리하여 기존 TP(Tensor Parallelism)의 장점과 SP(Sparsity Parallelism)의 장점을 결합합니다. 이로 인해 TSP는 높은 처리량(throughput)을 제공하며, 128K 토큰 컨텍스트에서 173M tok/sec라는 우수한 성능을 기록했습니다.

핵심 포인트

• TSP 방식은 MI300X 환경에서 가장 낮은 메모리 사용량을 달성합니다.
• 64K 컨텍스트에서는 가중치와 활성화 모두를 효율적으로 처리하여 최적의 장점을 제공합니다.
• TSP는 TP(Tensor Parallelism)의 가중치 샤딩과 SP(Sparsity Parallelism)의 활성화 샤딩을 결합한 방식입니다.
• 동일 조건에서 TSP는 173M tok/sec로, 기존 TP+SP 방식인 86M 대비 높은 처리량을 보여줍니다.