토론이 도움이 되는 경우: 다중 에이전트 추론에서 제안 공급 및 검증 인식 리드아웃

다중 에이전트 토론은 추론 능력을 향상시킬 수 있지만, 단순한 다수결 투표를 이기지 못하는 경우가 많습니다. 우리는 성공적인 토론에는 두 가지 별개의 메커니즘이 필요하다고 주장합니다. 첫째, 제안 공급(proposal supply)은 올바른 답을 표면화해야 하며, 둘째, 리드아웃(readout)은 투표가 놓치는 경우에도 그 답을 식별해야 합니다. 우리는 첫 번째 요구사항을 복구 가능한 여유분(recoverable headroom)을 통해 공식화합니다. 이는 정확한 제안이 사용 가능하지만 다수결 답변이 틀린 경우를 측정하는 지표입니다. 두 번째 요구사항을 위해, 후보 제안들이 최종 생성 전에 답에 특화된 검증 증거를 받는 회계 모델인 잠재적 검증 토론(Latent Verification Debate, LVD)을 개발했습니다. 통제된 고정 제안 개입은 동등한 피어 지원 단위에서 이 잠재적 효과를 추정하며, 올바른 증거가 제안 공급이 고정된 상태에서도 답변 확률과 생성된 결정을 변화시킨다는 것을 보여줍니다. 제안 공급을 개선하기 위해, 우리는 레이블링 및 레이블 비사용 커버리지 목표(coverage objectives)를 사용하는 신경 밀집 에이전트(neural-thicket agents)로부터 사회를 구성합니다. 두 개의 백본(backbones)과 일치하는 예산 추론 벤치마크 전반에 걸쳐, 커버리지가 선택된 사회는 상보적인 제안 공급을 증가시키고 반복적인 확률적 평가에서 종합 정확도를 향상시킵니다. 라운드별 통제 실험은 또한 상호작용이 초기 제안에 동일한 최종화기(finalizer)를 직접 적용하는 것보다 더 큰 이득을 제공한다는 것을 보여줍니다. 이러한 결과는 토론이 투표를 능가하기 위한 상보적인 조건으로 제안 커버리지와 진실 민감 증거 사용을 식별합니다. 코드는 https://github.com/Wang-ML-Lab/when-debate-helps에서 이용 가능합니다.