RTX 30~40 시리즈 카드의 GPU 언락 기능 테스트 결과는 어떠한가요?

요약

특정 커널 모듈을 적용하여 RTX 3090의 BF16 및 TF32 텐서 연산 성능이 크게 향상되었음을 보고합니다. 이로 인해 추론(inference) 단계에서 토큰 생성 속도 증가가 관찰되었습니다. 다만, 전반적인 성능 개선은 예상치보다 낮았으며, GEMM 단축 효과에 국한적이었습니다.

핵심 포인트

• GPU 언락 모듈 적용으로 BF16/TF32 텐서 연산 성능이 크게 증가함.
• 커널 모듈을 통해 NVIDIA 드라이버의 기본 제한(FMLA32) 해제가 가능함을 입증.
• 추론 성능은 향상되었으나, 예상했던 만큼 모든 영역에서 드라마틱한 개선은 아니었음.
• GEMM 단계 단축 효과가 있었지만, 전체 prefill 과정에 대한 기여도는 상대적으로 낮았음.