트렁케이션된 디코딩 트리를 활용한 효율적인 추론: DLE 제안

요약

Self-consistency는 여러 추론 경로를 샘플링하고 투표하여 성능을 높이지만, 수학이나 코딩 같은 제한된 도메인에서는 중복 샘플링으로 인해 계산 효율성이 떨어집니다. 본 논문은 이러한 문제를 해결하기 위해 'Distinct Leaf Enumeration (DLE)'이라는 결정론적 디코딩 방법을 제안합니다. DLE는 부분적으로 잘린(truncated) 디코딩 트리를 탐색할 때, 중복 샘플링 대신 고유한 리프 노드를 체계적으로 열거하여 추론 효율성을 높입니다. 이 방법은 기존의 확률적 자가 일관성(stochastic self-

핵심 포인트

• Self-consistency는 병렬 추론 경로 샘플링 및 투표를 통해 성능을 향상시키지만, 중복 탐색으로 인해 계산 비용이 높습니다.
• 제안된 DLE (Distinct Leaf Enumeration)은 부분적으로 잘린 디코딩 트리를 결정론적으로 탐색하여 고유한 리프 노드를 체계적으로 열거합니다.
• DLE는 기존 방식 대비, 동일한 예산 내에서 이전에 방문하지 않은 고확률 분기(branch)를 탐색하여 커버리지를 높입니다.
• 실험 결과, DLE는 확률적 자가 일관성보다 더 높은 품질의 추론 경로를 찾아내어 수학, 코딩 및 일반 추론 작업에서 우수한 성능을 보였습니다.