무작위 설계를 통한 KV-Cache 제거를 위한 오류 인증 (Error Certificates)

요약

결정론적 KV-Cache 제거 방식의 오류 추정 불가능성을 증명하고, 무작위 제거(Randomized eviction)를 통해 오류 인증(Error Certificates)을 가능하게 하는 연구를 소개합니다. 무작위 샘플링을 통해 정확도 손실 없이 오류를 인증할 수 있으며, 이를 통해 캐시 문제와 고유 실패를 분리할 수 있습니다.

핵심 포인트

• 결정론적 KV-Cache 제거는 어텐션 출력 오류를 정확히 추정할 수 없음
• 무작위 제거 방식은 식별 가능성을 회복하여 오류 인증을 가능하게 함
• 포아송 샘플링을 통해 정확도 손실 없이 단계별 오류 인증 가능
• 인증서는 캐시로 인한 실패와 모델 고유의 실패를 효과적으로 분리함
• 무작위화의 핵심 목적은 예측이 아닌 오류의 귀속(Attribution)에 있음