반복된 LLM 추론의 투표 정확도 곡선: 두 호출, 두 모멘트

요약

본 논문은 반복적인 LLM 추론(repeated sampling)의 성능이 단순히 단일 호출 정확도로 결정되는 것이 아니라, 예시별 정답 확률의 잠재 분포에 의해 결정됨을 분석합니다. 연구진은 조건부 독립 동일 분포 하에서 2차 모멘트까지 활용하여 안정적 오류와 회복 가능한 무작위성을 구분하는 방법을 제시하며, 이를 통해 고정된 다수 투표 예산이 분포에 관계없이 일정한 성능 이득을 제공함을 보였습니다. 또한, 최대 엔트로피 및 잠재 난이도 가우시안-프로빗(LDGP) 점 완성을 추가하여 실험적으로 3표 및 5표 정확도가 2 호출 영역에 포함됨을 입증했습니다.

핵심 포인트

• LLM 추론의 성능은 단일 호출 정확도를 넘어 예시별 정답 확률의 잠재 분포(잠재 모멘트)를 고려해야 한다.
• 두 개의 라벨링된 호출은 단순히 평균 성공 확률뿐만 아니라 2차 모멘트를 식별하여 오류와 무작위성을 구분할 수 있게 한다.
• 다수 투표(majority-vote) 예산은 분포에 관계없이 일정한 성능 이득을 제공하는 '분포 비의존적' 특성을 가진다.
• 최대 엔트로피 및 LDGP 점 완성을 통해 3표 및 5표 정확도가 2 호출 영역 내에 포함됨을 실험적으로 확인했다.