온디맨드 정밀도: 소형 로컬 모델에서 불확실한 디코딩 단계별 가중치 비트 증폭

요약

본 연구는 소형 로컬 모델의 디코딩 과정에서 불확실성이 감지될 때만 가중치 정밀도를 동적으로 높이는 방법을 제안합니다. 8비트 저장 후, 엔트로피 기반 게이트를 통해 저정밀도 출력 분포가 불안정할 경우에만 고정밀 재계산을 수행하여 효율성을 높였습니다. 이 방식은 기존 대비 높은 성능을 보여 소형 모델의 디코딩 최적화 방안을 제시합니다.

핵심 포인트

• 불확실성 기반의 단계별 가중치 증폭(On-demand Precision) 기법을 제안함.
• 엔트로피 게이트는 뒤집힘(flips) 중 78%를 포착하며, 무작위 게이트 대비 우수한 성능을 보임.
• 소형 로컬 모델에서 디코딩 비용과 정확도를 동시에 개선하는 방법을 제시함.
• 벤치마크 결과, AUC 0.93 및 McNemar p=0.053 등의 정량적 지표를 통해 효과를 입증함.