수평 사고 퀴즈(우미가메노 스프/바다거북의 스프) 사이트 SoupyQuiz를 운영하고 있습니다. 직접 만든 퀴즈로 LLM끼리 대결시켜 추론의 질을 측정해 보았습니다. 364회 플레이, 12,080턴을 돌린 결론은 단순하게 Claude Opus 5가 정답률 96%로 최강이었습니다.

다만, 순위보다 더 흥미로웠던 것은 내용입니다. 모델마다 문제를 푸는 전략이 완전히 달랐기에 이를 소개합니다.

• Opus 5: 가설 주도형 — 진상을 이야기 전체로 묶어서 검증함
• GPT-5.6 sol: 분할 정복 — 교과서적인 이분 탐색
• GPT-5.6 terra: 가설 고착 — 같은 가설을 25번이나 바꿔 말하며 계속 내놓음
• GPT-5.6 luna: 정보 수집의 미아 — 관계없는 정경의 세부 사항을 끝없이 물음
• Fable 5: 가설 양산 — 가능한 시나리오를 하나씩 전부 시도함

본 기사에서는 이러한 전략의 차이를 로그 숫자로 보여드리겠습니다.

왜 수평 사고 퀴즈로 추론력을 측정하는가

'우미가메노 스프(바다거북의 스프)'라고 불리는 놀이가 있습니다. 출제자가 불가해한 상황만을 제시하고, 답변자는 yes/no로 대답할 수 있는 질문을 거듭하여 진상을 맞히는 방식입니다. 고전적인 예시를 하나 들어보겠습니다.

한 남자가 바에 들어와 물 한 잔을 주문했다. 바텐더는 총을 꺼내 남자에게 겨누었다. 남자는 "감사합니다"라고 말하며 돌아갔다. 왜일까?

답변자는 "바텐더는 남자를 위협할 의도였습니까?", "남자는 물을 마시고 싶었던 것입니까?"와 같이 질문을 거듭하며 진상에 도달합니다. 생각해 보고 싶은 분들을 위해 정답은 접어두겠습니다.

정답 보기

남자는 딸꾹질을 멈추고 싶어서 물을 주문했다. 바텐더는 이를 눈치채고 총으로 놀라게 하여 딸꾹질을 멈추게 해주었다. 남자는 딸꾹질이 멈춘 것에 감사하며 돌아갔다.

이것이 LLM의 추론 벤치마크에 적합한 이유는 세 가지입니다.

• 학습 오염(Data Contamination)이 없다. 서두에 썼듯이 퀴즈는 모두 직접 만든 것이며, 웹상에 정답이 존재하지 않는다. 암기가 통하지 않는다.
• 정보 획득의 효율을 그대로 측정할 수 있다. yes/no 질문의 누적이므로, "몇 턴 만에", "몇 토큰으로" 진상에 도달했는지를 솔직하게 비교할 수 있다.
• 가설 생성과 검증의 루프가 필요하다. 단발적인 정답 맞히기가 아니라, 답변을 바탕으로 가설을 계속 수정해 나가는 능력이 요구된다.

한편, 퀴즈에는 시사적인 요소나 일본 고유의 요소가 포함될 수 있습니다. 일본어로 출제되었으므로, 그에 따른 장단점이 결과에 반영되어 있다는 전제하에 읽어주시기 바랍니다.

실험 설정

자체 제작한 평가 하네스(lateval)를 사용하여, 출제자와 답변자 역할을 모두 LLM이 수행하게 했습니다. 퀴즈는 20문제입니다.

• 답변자는 한 턴에 질문을 하나씩 던지고, 출제자는 힌트 없이 yes / no / 관계없음(irrelevant)으로만 대답한다.
• 진상은 여러 개의 "중요 사실(keyFacts)"로 분해되어 있으며, 답변자의 발언이 모든 사실을 맞히면 출제자가 정답을 선언한다.
• 상한선은 100턴. 모두 사용하면 실패.

답변자로 테스트한 모델은 GPT-5.6 계열 3개 모델(sol / luna / terra)과 Claude 계열 2개 모델(Opus 5 / Fable 5)이며, 추론 노력(reasoning effort)을 몇 단계씩 조절했습니다.

공정성을 위한 주의사항 세 가지. 출제자는 gpt-5.6-sol(medium)로 고정했기 때문에, sol의 성적에는 자기 대전의 유리함이 반영되었을 가능성이 있습니다. 판정은 LLM as Judge 방식이므로 편차는 있으나 모든 모델이 동일 조건입니다. 또한, 시도는 문제당 1회 플레이뿐이므로, 몇 %의 정답률 차이는 오차 범위 내로 생각해주십시오.

결과: 정답률도 토큰 효율도 Opus 5가 독보적

성적은 다음과 같습니다.

효율에 관해서는 두 가지 지표를 그래프로 나타냈습니다.

정답까지의 평균 질문 횟수 vs 토큰 수

왼쪽 아래에 위치할수록 "적은 질문과 적은 토큰으로 풀 수 있는" 우수한 모델입니다.

커버리지 AUC vs 토큰 수

커버리지 AUC는 "중요 사실을 얼마나 빠른 단계에서 맞혀 나갔는가"를 면적으로 나타낸 지표로, 정답에 도달하지 못한 플레이에서도 부분 점수로서 의미가 있습니다.

※Opus 5(max)는 4회 플레이 후 중단되었으므로 참고치입니다(비용 절감을 위한 조치).

의외였던 점은, effort(노력)를 쌓아도 성능이 향상되는 경향이 어떤 모델에서도 보이지 않았다는 것입니다. 적어도 이 태스크에서는 사고 예산(thinking budget)의 차이보다 후술할 질문 전략의 차이가 지배적이었습니다.

본론: 모델마다 풀이 전략이 완전히 다르다

여기서부터가 본론입니다. 동일한 퀴즈에 대해 각 모델은 완전히 다른 전략으로 접근합니다. 갈림길은 두 가지입니다. 가설을 전체적인 모습에서부터 접근할 것인가, 아니면 개별 요소부터 쌓아 올릴 것인가, 그리고 부정되었을 때 탐색을 계속할 수 있는가입니다. 전자의 대조는 Opus 5와 sol, 후자에서 막힌 것이 terra와 luna, 탐색 쪽으로 완전히 치우쳐 성공한 것이 Fable 5입니다. 참고로 자체 제작한 퀴즈의 내용은 밝히고 싶지 않으므로, 아래의 질문 예시는 모두 서두에서 소개한 '바(bar) 문제'로 대체하여 재현한 것입니다(바 문제의 정답 스포일러를 포함합니다).

※ 전략은 effort 레벨에 따라서도 달라집니다. 예를 들어 terra의 반복은 low / medium에서 두드러지며, max에서는 상당히 줄어듭니다. 본 장은 모든 effort를 합산한 모델 단위의 경향이므로, 이를 '해당 모델 고유의 성질'이라고 어디까지 단정 지을 수 있는지에는 한계가 있다고 생각해주십시오(특히 Claude 계열은 거의 low 레벨만 측정되었습니다).

Opus 5: 가설 주도 — 전체상을 구성하여 일괄 검증한다

단편적인 관측으로부터 '가장 설명력이 높은 전체 스토리'를 먼저 구성하고, 확신이 드는 시점에 한꺼번에 검증하는 전략입니다. 디버깅에 비유하자면, 증상으로부터 장애의 전체상을 추리한 뒤 결정적인 실험을 단 한 번만 수행하는 시니어 엔지니어의 움직임과 같습니다.

이번 퀴즈에서도 이 전략이 철저하게 나타났는데, 초반에는 직업이나 의도를 확인하는 짧은 질문으로 가설을 좁히고, 종반에는 "진상은 ~라는 것입니다"라며 이야기 전체를 한 문장으로 제시하는 검증형 질문을 던집니다. 이러한 형태의 질문이 전체의 12%를 차지하며, 질문 길이는 평균 52자로 모든 모델 중 가장 깁니다. 바 문제로 재현하면 다음과 같습니다.

"진상은, 남자가 딸깍거리는 소리(딸꾹질)를 멈추고 싶어서 물을 주문했으나, 바텐더가 총으로 놀라게 함으로써 딸꾹질이 멈췄고, 이에 감사하며 돌아갔다는 것입니다."

한꺼번에 검증하는 만큼, 단 한 번의 'yes'가 갖는 가치가 큽니다. 'yes'를 한 번 얻을 때마다 확정되는 중요 사실은 평균 2.2개로, 타 모델(1.3~2.0개)을 상회합니다. '관련 없다'고 판정된 질문의 비율도 8.2%로 가장 낮아, 헛수고가 적은 모델이었습니다.

GPT-5.6 sol: 분할 정복 — 1회의 시도로 변수 하나만 움직인다

문제를 독립적인 요소로 분해하여, 1회의 시도에서는 단 하나의 변수만 움직이는 전략입니다. git bisect나 대조 실험과 마찬가지로, 절차적 규율에 따라 문제를 푸는 타입입니다. 화려한 비약은 없지만, 대신 파탄에 이르는 모드도 없습니다.

퀴즈에서도 "바텐더는 남자에게 해를 끼칠 의도가 있었습니까?", "남자의 몸에 어떤 이상이 있었습니까?"와 같이 항상 요소를 하나씩 분리하며, 질문 길이는 평균 40자로 가장 짧습니다. 이야기 요약형 질문은 sol의 모든 플레이를 통틀어 0건이었으며, 동일한 질문의 반복도 거의 없었습니다(0.13회/플레이). 가장 규율이 높은 모델이었습니다. 정답률 93%는 이러한 견실함의 결과이지만, 출제자와 동일한 모델이라는 점은 감안해 주시기 바랍니다.

GPT-5.6 terra: 가설에 대한 집착 — 부정되어도 같은 수를 계속 둔다

terra가 빠진 함정은 부분적인 성공에 대한 과적합(overfitting)입니다. 유망한 가설을 찾아내는 능력은 높지만, 부정적인 피드백을 계획 수정에 반영하지 못합니다. 에러 메시지를 읽지 않고 똑같은 패치를 다시 던지는 움직임으로, 탐색(exploration)과 활용(exploitation) 측면에서 보자면 활용에 치우쳐 탐색이 죽어버린 상태입니다.

실제 플레이에서는 'yes'를 이끌어내는 비율이 51%로 모든 모델 중 가장 높았습니다. 질문의 맥락 자체는 좋았으나, 진상의 일부를 파악한 후에는 거의 동일한 장문의 가설을 말투만 바꿔가며 끊임없이 재제출했습니다. 심한 플레이에서는 같은 문장을 25번이나 반복했습니다. 마치 고장 난 레코드판 같습니다. 구조는 이렇습니다. 진상이 요소 A와 요소 B로 분해되는 퀴즈에서 terra는 요소 B만을 맞혔습니다. 출제자는 매번 "요소 A는 아직 확정되지 않았습니다"라고 부족한 점을 명확히 전달했습니다. 그럼에도 terra는 요소 B를 바꾸어 말하면서 A에 대해서는 언급하지 않은 채 계속 제출했고, 결국 100턴을 다 써버렸습니다. 중복 질문은 평균 7.8회/플레이로, 2위인 luna(3.2회)를 크게 앞질렀습니다.

GPT-5.6 luna: 정보 수집의 미아 — 가설 없이 세부 사항만 계속 모은다

luna는 반대로, 검증해야 할 가설을 가진 채로 정보 수집 그 자체가 목적이 되어버리는 타입입니다. 목표에 대한 기여도를 기준으로 행동을 선별하지 못하고, 로그를 전부 뒤지며 단서가 떠오르기만을 기다리는 디버깅—소위 말하는 '래빗 홀(rabbit hole)'에 빠진 상태와 같습니다.

수치로 나타난 것은 "관계없다(no)"라고 판정된 질문의 비율로, 15.5%로 모든 모델 중 가장 높았습니다. 내용을 살펴보면, 진상의 인과관계와는 무관한 정경(scene)의 디테일만을 확인하고 있습니다. 남자가 카운터의 몇 번째 자리에 앉았는지, 바텐더가 어느 손으로 총을 들고 있었는지와 같은 것들입니다. 미스터리 소설 독자가 범인은 뒷전이고 삽화를 살펴보고 있는 듯한 움직임이었으며, 정답률도 75%로 최하위였습니다.

Fable 5: 가설의 양산 — 가능한 시나리오를 하나씩 전부 시도한다

Opus 5가 최상의 시나리오를 단 하나 구성하여 검증하는 것과 달리, Fable 5는 가능한 시나리오를 저렴하게 양산하여 하나씩 전부 시도합니다. 브레인스토밍(Brainstorming)을 통해 가설을 대량으로 내놓고, 하나씩 작은 실험으로 지워나가는 디버깅(Debugging) 스타일입니다. 한 발 한 발의 명중률은 낮은 대신, 적중하면 단번에 핵심에 도달합니다.

바(Bar) 관련 문제라면 "바텐더가 강도로 착각하여 총을 겨눈 것입니까?", "남자를 노리는 누군가를 쫓아내기 위해서입니까?", "총을 팔려고 했던 것입니까?"와 같이 서로 다른 시나리오를 매 턴 계속 던지는 움직임입니다. no 비율 66%, yes 비율 17%로 모든 모델 중 가장 "빗나가는" 질문 구성이지만, 아무리 빗나가더라도 같은 가설은 두 번 다시 내놓지 않습니다 (중복 0회/플레이. 100턴 동안 계속 빗나간 플레이에서도 약 90개의 가설이 모두 별개의 것이었습니다). no를 받았을 때의 다음 수가 terra는 같은 가설의 재진술(paraphrasing)이라면, Fable 5는 반드시 새로운 가설을 내놓는—마치 거울상과 같습니다. 이러한 난사 속에서도 정답률은 85%로 견고하며, yes 1회당 확정 사실이 1.3개로 가장 낮은 부분을 많은 질문 횟수로 보완하여 승리합니다.

인상 깊었던 로그

메타인지(Metacognition) 질문

Fable과 Opus를 포함한 Claude 계열은 퀴즈의 내용이 아니라 직전의 판정 그 자체를 묻는 질문을 사용하는 횟수가 많았습니다.

"직전의 답변이 NO였던 것은, 추가한 세부 사항 ◯◯에 오류가 있기 때문입니까? 아니면 큰 줄기인 △△ 자체는 맞습니까?"

장문의 가설이 아쉽게 거절당했을 때, 어느 부분에 원인이 있는지 특정하고 나서 다음 수를 두는 "오류 국소화(Error Localization)" 움직임입니다. terra가 25회 루프를 돌았던 것과 동일한 상황에서의 정반대되는 대처였습니다.

모두가 실패한 난제

20문제 중 23문제는 어떤 모델도 나란히 실패했습니다 (정답률 34할). 공통점은 중요 사실의 일부가 질문을 쌓아가는 연장선상에 있지 않고, 발상의 비약을 요구하는 구조였다는 점입니다. 인간을 위한 좋은 문제가 LLM에게도 어렵다는 것은 벤치마크(Benchmark)로서 좋은 특성입니다.

비용: Fable 5는 Opus 5의 3배가 들었다

Claude 계열은 API를 통해 실행했기 때문에 지갑에 직격탄을 날렸습니다.

Fable 5는 Opus 5의 약 3배입니다. 마지막에 Opus 5의 max 설정을 돌리기 시작했을 때 크레딧이 완전히 바닥났기 때문에, max는 4회 플레이(전승)만 하고 중단했습니다.

※ GPT-5.6 계열은 ChatGPT 구독 범위 내에서 실행했기 때문에 개별 비용을 산출할 수 없어 표에서 제외했습니다.

요약

• 자체 제작한 수평 사고 퀴즈 20문항, 364회 플레이로 LLM의 추론 능력을 측정한 결과, Claude Opus 5가 정답률 96%로 최강이었다.
• 강점의 원천은 "가설을 이야기 전체로 묶어서 검증하는" 전략과, yes 1회당 정보 효율의 높음이다.
• effort의 차이보다 질문 전략의 차이가 지배적이다. 동일한 상황에서 terra는 동일 가설을 25회 반복했지만, Claude 계열은 판정 이유를 묻는 메타인지 질문으로 돌파했다.

순위표를 만들 생각으로 시작한 실험이었지만, 끝내고 보니 "LLM의 성격 진단"이 되어 있었습니다.

이번에 LLM들을 괴롭혔던 퀴즈와 동일한 수준의 문제를 SoupyQuiz에서 출제하고 있습니다. 매일 한 문제, 좋은 문제만을 엄선하여 즐길 수 있는 수평 사고 퀴즈 사이트로, AI가 출제자로서 당신의 yes/no 질문에 답해줍니다. Opus 5의 정답률 96%에 인간 대표로서 도전해 보세요.

Discussion