Linux 7.4에서 Radeon iGPU의 AI/LLM 성능을 최대 18~23% 향상시키는 AMD

AMD Ryzen 노트북/데스크톱을 보유하고 통합 그래픽(iGPU)으로 AI/LLM 기능을 활용하고자 한다면, Linux 7.4가 특히 저사양 하드웨어에 큰 도움이 될 것입니다. 오늘 다양한 AMD Ryzen/Radeon 하드웨어를 대상으로 진행된 벤치마크에서 볼 수 있듯이, Linux 7.4에 도입되는 AMD의 새로운 PerfOpt 기능은 상당한 성능 향상을 제공할 것으로 예상됩니다.

Linux 7.4 병합 창(merge window)이 10월 말에 열리기 전에, IOMMU 서브시스템의 Git 트리에 최근 추가된 패치는 AMD 통합 그래픽 시스템을 위한 새로운 AMD PerfOpt 기능을 활성화합니다.

AMD PerfOpt는 AMD I/O 가상화 기술(IOMMU) 사양의 일부인 AMD IOMMU 성능 최적화입니다. PerfOpt를 사용하면 오버헤드를 피하기 위해 시스템 메모리에 직접 접근할 때 IOMMU를 우회할 수 있습니다. AMDGPU 드라이버는 통합 그래픽을 사용할 때 기본적으로 AMD PerfOpt를 활성화합니다. Linux 7.4에 포함되는 패치와 함께, PerfOpt는 AMD iGPU 설정에서 자동으로 활성화되며, amdgpu.iommu_perfopt=0 커널 모듈 옵션을 통해 비활성화하여 영향을 비교할 수도 있습니다.

PerfOpt의 영향이 궁금하여, Linux 7.4에 포함될 IOMMU Git 트리의 코드로 테스트 커널을 직접 빌드했습니다. 그리고 동일한 커널에서 PerfOpt가 활성화된(기본값) 경우와 비활성화된 경우를 비교하여 테스트했습니다. 저는 지속적인 실습 테스트용 Strix Halo 노트북이 부족했기 때문에 AMD Strix Halo 데스크톱과, 성능 영향에 대한 다양한 분석을 위해 Strix Point 및 Krackan 노트북을 사용하여 이 작업을 수행했습니다.

이번 초기 테스트를 위해 저는 이 AMD Ryzen AI 시스템들에서 로컬 AI/LLM 추론(inferencing)을 수행하기 위해 Llama.cpp 백엔드를 사용하는 Lemonade 로컬 AI 서버를 사용했습니다. 향후 몇 주 동안 전체 Linux 7.4 커널 성능을 살펴볼 때 더 많은 AMD PerfOpt 벤치마크가 있을 것입니다. Linux 7.4 사이클은 10월 하반기에 시작되며, 안정화된(stable) 커널은 연말쯤에 출시될 예정입니다. 또한 올해의 LTS(Long Term Support) 커널 버전이 될 가능성도 높습니다.