b11766: metal 최적화 argmax 및 pool_1d (#30862)
요약
본 기술 기사는 Metal 프레임워크를 활용하여 argmax 및 pool_1d 연산의 성능을 최적화하는 방법을 다룹니다. 특히 대형 행 argmax에 2단계 부분 축소 방식을 적용하고, pool_1d에는 협력 스레드 그룹 축소를 도입했습니다. 이를 통해 모델 추론 과정에서 발생하는 중간 차원 계산 부하를 줄여 효율성을 높입니다.
핵심 포인트
- Metal을 이용한 argmax 및 pool_1d 연산 최적화가 핵심입니다.
- 대형 행 argmax에 2단계 부분 축소(two-pass partial reduction) 기법을 적용했습니다.
- pool_1d에는 협력 스레드 그룹 축소를 사용하여 성능을 개선했습니다.
- MoE 다운프로젝션의 max 사례를 추가하여 중간 차원을 줄였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기