Prefix Consistency를 통한 신뢰할 수 있는 Chain-of-Thought

요약

본 기술 기사는 LLM의 추론 정확도를 높이는 방법 중 하나인 'self-consistency'를 개선한 'Prefix Consistency' 방법을 제안합니다. 이 방법은 여러 개의 Chain-of-Thought(CoT) 추적을 샘플링하고, 각 후보 답변이 재생성 과정을 통해 얼마나 일관되게 나타나는지(prefix consistency)를 신뢰도 지표로 활용하여 가중치를 부여합니다. 실험 결과, Prefix Consistency는 기존의 다수 투표(Majority Voting) 방식보다 높은 정확도를 보였으며, 훨씬 적은 토큰으로 유사한 성능을 달성할 수 있음을 입증했습니다.

핵심 포인트

• LLM 추론에서 self-consistency 기법을 개선하여 'Prefix Consistency'를 제안함.
• Prefix Consistency는 CoT 추적의 재생성 과정을 통해 후보 답변의 신뢰도를 측정하는 새로운 방법임.
• 이 방법은 토큰 로그 확률이나 자체 평가 프롬프트 같은 추가적인 접근 없이 작동합니다.
• 실험 결과, Prefix Consistency가 기존 Majority Voting(MV)보다 높은 정확도 예측 지표를 보였으며, 적은 토큰으로도 우수한 성능을 달성했습니다.