사고 가지치기(Thought Pruning)를 위한 직접적인 Pass@$k$ 최적화: 테스트 시간 추론에서 품질과 다양성 균형 맞추기

테스트 시간 스케일링(Test-time scaling)은 추론 모델을 위한 핵심 추론 전략으로 부상했으며, 이 과정에서 모델은 적어도 하나의 정답 솔루션을 찾을 수 있다는 희망으로 대량의 후보 솔루션을 생성합니다. 모든 후보 솔루션을 완료까지 실행하는 것은 계산적으로 부담이 될 수 있으므로, 최근 연구들은 짧은 접두사(prefix)만 생성한 후 후보 풀리를 가지치기하여 생존한 후보들에게만 추가적인 계산을 수행합니다. 기존의 가지치기 전략은 크게 두 가지 범주로 나뉩니다: 품질 기반 방법(Quality-based methods)은 각 부분 솔루션에 점수를 할당하고 궁극적으로 잘못된 최종 솔루션을 초래할 것으로 예측되는 것들을 폐기하며, 다양성 기반 방법(Diversity-based methods)은 서로 다른 추론 궤적을 따르는 부분 솔루션들을 선택하여 따라서 다양한 최종 솔루션을 다룰 가능성이 높습니다. 이 두 목표 사이의 긴장 관계는 탐색 대 활용(exploration versus exploitation)의 한 예시이지만, 가지치기에 대한 기존 연구 중 이 상충 관계를 직접적으로 노출하거나 최적화한 사례는 거의 없습니다. 본 논문에서는 선택된 솔루션 풀리(solution pool)에 걸쳐 pass@$k$를 최적화함으로써 이 상충 관계를 직접적으로 다루는 가지치기 절차를 소개합니다. 특히, 이는 부분 솔루션 중 적어도 하나가 완료까지 이어졌을 때 정답을 산출할 확률을 최대화하는 풀리를 선택합니다. 이 목표는 고품질의 부분 솔루션을 동시에 보상하고 그들 사이의 중복성을 페널티로 부과하기 때문에, 품질과 다양성은 별도의 임시적인 설계 선택에 의해서가 아니라 기준 자체에 의해 자연스럽게 균형을 이루게 됩니다. 8개의 오픈 가중치(open-weight) 추론 모델에서, 저희 방법은 기존의 품질 기반 및 다양성 기반 가지치기 전략들보다 우수한 성능을 보였습니다. 이러한 이점은 특히 가지치기 절차가 계속적인 생성을 위해 적당한 수의 부분 솔루션을 유지할 때 두드러지게 나타나며, 이는 가지치기 과정에서 품질과 다양성을 직접적으로 균형 맞추는 것의 가치를 강조합니다.