언어 모델이 스스로의 답변을 계획(plan), 비판(criticise) 및 재작성(rewrite)하고, 실수를 반성(reflect)하며, 여러 시도 중 최선의 것을 선택하거나, 자신의 복제본과 토론(debate)하게 만드는 방법들은 거의 모두 단일 사고 사슬 (chain of thought)보다 훨씬 더 많은 텍스트를 생성하게 만듭니다. 더 많은 텍스트를 생성하는 것 자체가 정확도를 높이기 때문에, 단일 사고 사슬 대비 얻은 이득이 해당 방법론의 아이디어 덕분이라는 것을 보여주지는 못합니다. Wang et al. (2024)은 동일한 질문을 반복해서 샘플링하고 가장 흔한 답변을 유지하는 단순한 베이스라인 (baseline)이 예산이 비슷해지면 종종 승리한다고 보고했으나, 신뢰 구간(confidence intervals)이나 유의성 검정(significance tests)이 없는 점 추정치(point estimates)만을 제시했습니다. 우리는 이를 설계된 실험으로서 다시 실행했습니다: 7가지 방법, 1.5B, 3B, 7B 파라미터의 오픈 모델 (open models), 2개의 수학 벤치마크 (benchmarks), 각 150개의 질문. 우리는 비판(critiques), 반성(reflections), 토론 차례(debate turns) 및 확인(checking)에 소비된 토큰을 포함하여 생성된 모든 토큰을 계산하고, 각 방법을 동일한 측정 비용에서의 반복 샘플링과 비교했습니다. 36개의 모든 비교는 질문별로 쌍을 이루었으며, 부트스트랩 구간 (bootstrap intervals)과 다중성 교정 (multiplicity correction)을 적용했습니다. 어떤 방법도 동일한 비용에서 반복 샘플링보다 확실히 더 낫지 않았습니다. 10개는 확실히 더 나빴으며, 이들은 모두 모델이 자신의 출력을 검사하는 방법들이었고, 18개의 자기 검사 (self-inspection) 비교는 모두 부정적이었습니다. 두 종류의 자기 검사는 모델이 커짐에 따라 갈라집니다. 선택 (Choosing)은 더 이상 해롭지 않습니다: Best-of-N의 8개 샘플을 가져와 가장 흔한 답변을 단순히 세는 것이 모델이 직접 선택하게 하는 것보다 1.5B에서는 8.0 및 11.3포인트 앞서지만, 7B에서는 2.0 및 1.3포인트에 불과하여 더 이상 0과 구별할 수 없습니다. 재작성 (Rewriting)은 회복되지 않습니다: Self-Refine과 강제된 Reflexion은 7B에서 베이스라인보다 3.6에서 10.1포인트 낮게 유지됩니다. 발표된 대로의 Reflexion은 가장 작은 모델에서 스스로의 재시도 (retry)를 한 번도 트리거하지 않았습니다. 모델은 매번 자신이 옳다고 판단했으며, 조용히 단일 사고 사슬 (single chain of thought)이 되어버렸습니다. 우리는 코드, 프롬프트 (prompts), 모든 생성물 및 검증 스크립트를 공개합니다.