llama.cpp PR #22673 를 이용한 Strix Halo MTP 성능 평가

요약

본 기사는 llama.cpp의 PR #22673을 활용하여 Strix Halo MTP(Matrix Transfer Pattern) 기능을 AI Max 395 시스템에 적용한 성능 평가 결과를 다룹니다. MTP 기능 활성화 결과, 토큰 생성 속도가 기존 약 40 토크/초에서 60~80 토크/초로 크게 향상되는 것을 확인했습니다 (Vulkan 환경에서는 40~50 토크/초 수준). 이 테스트는 AI 가속기 성능 최적화에 있어 MTP 기능의 중요성을 보여줍니다.

핵심 포인트

• llama.cpp PR #22673을 통해 Strix Halo MTP 기능을 성공적으로 적용함.
• MTP 활성화 전후, 토큰 생성 속도가 40 토크/초에서 최대 80 토크/초까지 향상되는 성능 개선이 관찰됨.
• 성능 테스트는 AI Max 395 (128GB DDR5 8000MHz) 시스템을 기반으로 진행되었으며, 특정 데이터 유형(수학 문제 등)에 따라 최적의 성능을 보임.
• MTP 기능은 모델 크기(Qwen 3.6-35BA3B)와 관계없이 큰 폭의 속도 향상을 가져올 수 있는 중요한 최적화 요소임.