계통 보존형 SMC: 확산 LLM 디코딩을 위한 다양성 유지 기법

요약

본 논문은 확산 LLM의 추론 정확도를 개선하기 위해 계통 보존형 SMC(LP-SMC)를 제안합니다. LP-SMC는 Chopthin 재샘플링과 입력 가중치 하한을 결합하여, 다항 재샘플링이 놓치는 낮은 가중치의 유망한 후보군(계통)을 유지하는 것이 핵심입니다. 이를 통해 오라클 커버리지와 종단 간 정확도를 크게 향상시켰습니다.

핵심 포인트

• LP-SMC는 확산 LLM의 추론 다양성 및 정확도 개선 기법이다.
• Chopthin 재샘플링과 입력 가중치 하한을 결합하여 계통 손실을 방지한다.
• 오라클 커버리지를 1.8점에서 최대 25.6점까지 향상시키는 성능을 보였다.
• 다양성 보존이 추론 시간 검색의 정확도에 크게 기여함을 입증했다.