OpenDeepThink: Bradley-Terry 집합을 통한 병렬 추론 (Parallel Reasoning via Bradley-Terry

요약

OpenDeepThink는 LLM 추론 성능 향상을 위해 쌍체 Bradley-Terry 비교를 활용하는 개체군 기반 테스트 시간 연산 프레임워크입니다. 이 방법은 매 세대마다 무작위 후보 쌍을 판정하고, 이를 집계하여 전역 순위를 생성합니다. 상위 4분의 3의 후보는 자연어 비판을 통해 변이되고 하위 4분의 1은 폐기되는 과정을 거칩니다. OpenDeepThink를 적용한 결과, Gemini 3.1 Pro 모델의 Codeforces Elo 점수가 유효하게 +405점 상승하는 성과를 보였습니다. 이 프레임워크는 재학습 없이 다양한 모델에 전이 가능하며, 객관적으로 검증 가능한 도메인에서 특히 효과적임을 입증했습니다.

핵심 포인트

• OpenDeepThink는 LLM 추론의 병목 현상(selection bottleneck)을 해결하기 위해 쌍체 Bradley-Terry 비교를 사용합니다.
• 프레임워크는 매 세대마다 후보 쌍을 판정하고, 이를 집계하여 전역 순위를 생성하는 개체군 기반 방식을 채택합니다.
• 상위 4분의 3의 후보는 자연어 비판(natural-language critiques)으로 변이되고 하위 4분의 1은 폐기됩니다.
• Gemini 3.1 Pro 모델에 적용하여 Codeforces Elo 점수를 +405점 향상시키는 성과를 달성했습니다.
• 재학습 없이 다양한 모델에 전이 가능하며, 객관적 도메인에서 성능 이득이 두드러집니다.