당신의 Block Floating Point Scale을 검색하세요!

요약

본 연구는 생성 모델 추론 가속화를 위한 표준 기술인 양자화(Quantization)의 한계를 극복하고자 합니다. 기존 BFP 스케일 선택 방식이 최적화되지 않을 수 있다는 문제점을 지적하며, 주어진 분포에서 양자화 오차를 최소화하는 새로운 전략인 ScaleSearch를 제안합니다. ScaleSearch는 미세 조정 검색을 통해 가수부 비트(mantissa bits)를 활용하여 스케일을 결정하고, 이를 기존 PTQ 및 저정밀도 어텐션 방법론에 통합함으로써 성능 향상을 입증했습니다.

핵심 포인트

• ScaleSearch: 양자화 오차 최소화를 위한 새로운 스케일 인자 선택 전략을 제안합니다.
• 미세 조정 검색(fine-grained search)을 통해 가수부 비트(mantissa bits)를 활용하여 최적의 스케일을 찾습니다.
• ScaleSearch는 PTQ 및 저정밀도 어텐션 등 기존 양자화 방법론과 통합되어 성능 향상을 가져옵니다.
• ScaleSearchAttention 알고리즘은 NVFP4 기반 어텐션을 개선하고, Llama 3.1 70B 모델의 PPL을 최대 0.77포인트까지 개선하는 결과를 보였습니다.