LoKA: 대규모 추천 모델을 위한 저정밀도 커널 애플리케이션

요약

본 기사는 대규모 추천 모델(LRMs)에 저정밀도 산술 연산(예: FP8)을 적용하는 데 따르는 어려움을 다룹니다. LRM은 수치적 민감성, GEMM 및 정규화 중심의 워크로드 특성 때문에 단순히 낮은 비트 커널을 도입하기 어렵습니다. 따라서 LoKA Dispatch는 모델-시스템 공동 설계 접근 방식을 통해 정확도 요구 사항을 충족하는 최적의 FP8 커널을 선택하여 LRM 성능 향상을 목표로 합니다.

핵심 포인트

• 대규모 추천 모델(LRMs)은 수치적으로 민감하며, LLM과 달리 저정밀도 연산 적용에 어려움이 있다.
• LRM 워크로드는 GEMM 및 정규화가 지배적이며 통신 집약적이어서 단순한 커널 개선만으로는 해결되지 않는다.
• FP를 성공적으로 통합하려면 시스템-모델 공동 설계(co-design) 접근 방식이 필수적이다.
• LoKA Dispatch는 LoKA Probe의 통계적 분석을 활용하여 정확도를 유지하면서 가장 빠른 FP8 커널을 선택하는 런타임을 제공한다.