b11618: HIP: RDNA3.5에서 일부 양자화 타입에 대해 64행 MMQ 타일 사용 (#28195)
요약
RDNA3.5 아키텍처의 설정 테이블에 대한 업데이트 내용을 다루고 있습니다. 특히 gfx115x GPU에서 특정 양자화 타입에 대해 64행 MMQ 타일을 사용하는 것이 성능 개선을 가져왔습니다. 이 변경은 LDS 여유 공간 확보와 관련이 있으며, 테스트 결과 중앙값 대비 최대 +26.0%의 성능 향상을 보였습니다.
핵심 포인트
- RDNA3.5 설정 테이블 업데이트: 특정 양자화 타입에 64행 MMQ 타일 적용
- gfx115x에서 작은 타일 사용 시 LDS 여유 공간 확보가 중요함
- 테스트 결과, MUL_MAT 형태에서 중앙값 +2.1%, 최고치 +26.0% 성능 향상 확인
RDNA3.5 설정 테이블은 J=32까지는 64행/128스레드 타일을, 그 이상에서는 128행/256스레드 타일을 선택합니다. gfx115x의 경우 작은 타일이 CU당 두 번째 워크그룹을 위한 충분한 LDS 여유 공간을 남기는 반면, 큰 타일은 그렇지 못합니다.
64행 타일을 gfx1151에서 더 빠르게 측정된 (타입, J) 쌍에 확장하고, 나머지 항목은 건드리지 않았습니다. J=96은 이득이 없었기 때문에 의도적으로 제외되었습니다.
test-backend-ops perf를 gfx1151에서 영향을 받은 타입(N은 48..512, M은 패딩 및 비패딩 모두)에 대해 100개의 MUL_MAT 형태(3라운드): 중앙값 +2.1%, 최고치 +26.0%, 실행 간 노이즈를 제외한 다른 형태 없음. 5개의 MUL_MAT_ID 형태: 중앙값 +8.0%.
Assisted-by: Claude Opus 5
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기