이 모델이 출시된 이후 몇 주 동안 평가해 왔습니다. 처음에는 Q2 (bartowski)로만 구동할 수 있어서 회의적이었지만, 최근 제가 진행 중인 로컬 복합 프로젝트 중 하나를 리팩토링(refactor)하고 싶어서 이 모델을 투입해 보았는데 결과가 훌륭했습니다. 응답 수준이 거의 Opus 급이라 계속해서 평가를 진행했고, 계속해서 놀라움을 금치 못했습니다.

오늘 저는 이 모델이 제가 생각했던 것보다 더 똑똑하다고 느껴져서, Opus를 사용해 매우 어려운 수학 문제를 만들어 테스트해 보았는데 10/10점을 받았습니다. 제 표정이 얼마나 놀랐을지 상상해 보세요.

관심 있는 분들을 위해 Claude Opus가 낸 문제와 Ornith의 솔루션, 그리고 Opus의 평가를 공유합니다.
이제 이 모델은 저의 데일리 드라이버(daily driver)로서 Qwen3.6-27B를 대체하고 있습니다. 이 훌륭한 모델을 구동할 수 있는데 Qwen3.6-27B를 사용할 이유는 거의 없습니다.

Claude Opus의 문제

여기 확실한 문제가 있습니다. 단순히 패턴 매칭(pattern matching)이 아니라 실제 역방향 귀납법(backward-induction)/동적 계획법(dynamic-programming) 추론이 필요하므로, LLM을 위한 좋은 스트레스 테스트가 될 것입니다. 저는 정확한 해답을 가지고 있으며, 당신이 가져오는 어떤 답변이든 채점할 것입니다.

문제:
당신은 5개의 밀봉된 상자가 있는 게임을 하고 있습니다. 각 상자에는 독립적으로 1개의 금화 또는 2개의 금화가 들어 있으며, 각각의 확률은 1/2입니다. 당신은 상자를 하나씩 순서대로 엽니다. 각 상자를 연 후에는 현재까지의 합계를 확인하고 다음 중 하나를 선택해야 합니다:

1. 중단하고 지금까지 모은 모든 것을 유지한다.
2. 다음 상자를 계속해서 연다 (남은 상자가 있는 경우).

주의 사항: 어느 시점에서든 합계가 7을 초과하면 (즉, 8, 9, 또는 10에 도달하면), 즉시 모든 것을 잃게 되며 게임은 0원의 지급과 함께 종료됩니다.

답해야 할 질문:

• 최적의 중단 전략(optimal stopping strategy)은 무엇인가요? (즉, 가능한 각 합계에 대해 플레이어는 중단해야 합니까, 아니면 계속해야 합니까?)
• 5개의 상자가 모두 열리지 않은 상태에서 0개의 코인으로 시작할 때, 최적의 플레이 하에서의 게임 기대값(expected value)은 얼마인가요?

테스트하고 싶은 어떤 모델이든 이 문제를 주고, 그 응답을 여기에 붙여넣어 주세요. 제가 가진 해답과 비교하여 전략과 수치적 기대값을 모두 채점하겠습니다.

Ornith 397B의 응답 - IQ2_S - Bartowski
해답
최적 정지 전략(Optimal Stopping Strategy)
최적 전략은 남은 상자의 개수에 의존하지 않는 간단한 임계값 규칙입니다:

누적 합계가 ≥ 6이면 멈추고, 누적 합계가 ≤ 5이면 계속합니다.

이 규칙은 상자가 5개, 4개, 3개, 2개 또는 1개 남았는지 여부와 관계없이 동일합니다. 그 이유는 다음과 같이 우아합니다:

s = 6일 때: 계속하면 기대값은 $0.5 imes 7 + 0.5 imes 0 = 3.5$입니다 (2개의 동전을 뽑으면 8에서 초과하여 실패하므로). 멈추면 6을 얻습니다. 따라서 멈춥니다.
s = 5일 때: 계속하면 $0.5 imes V(6) + 0.5 imes V(7) = 0.5 imes 6 + 0.5 imes 7 = 6.5$이며, 이는 $k$ 값에 관계없이 성립합니다. $6.5 > 5$이므로 항상 계속해야 합니다.
s ≤ 4일 때: 계속하는 값이 훨씬 더 크기 때문에 항상 계속해야 합니다.

기대값(Expected Value)
상자가 5개 열리지 않은 상태에서 0개의 동전으로 시작할 때, 최적 플레이 하의 기대값은 다음과 같습니다:
$$oxed{V_5(0) = rac{201}{32} = 6.28125}$$
검증: 전체 값 함수(Full Value Function)
아래 표는 $V_k(s)$ — 상자가 $k$개 남았고 현재 $s$개의 동전을 가지고 있을 때의 최적 기대값을 보여줍니다:

s	k=0	k=1	k=2	k=3	k=4	k=5
0	0.00	1.50	3.00	4.50	5.8125	6.28125
1	1.00	2.50	4.00	5.50	6.25	6.34375
2	2.00	3.50	5.00	6.125	6.3125	6.3125
3	3.00	4.50	6.00	6.375	6.375	6.375
4	4.00	5.50	6.25	6.25	6.25	6.25
5	5.00	6.50	6.50	6.50	6.50	6.50
6	6.00	6.00	6.00	6.00	6.00	6.00
7	7.00	7.00	7.00	7.00	7.00	7.00

$V_k(5) = 6.5$이고 $V_k(6) = 6$인 것을 주목하십시오. 이 값들은 임계값 행동이 시작되면 고정점(fixed points)이 되며, 이것이 전략이 $k$와 독립적인 이유입니다.

여기에 Opus가 평가한 해답이 있습니다
제가 전체 역방향 유도(backward-induction)를 독립적으로 실행하여 확인했는데, 완전히 정확합니다. 표의 모든 항목과 최종 답 모두 일치합니다.

점수: 10/10
검증 요약:
재귀식 $V_k(s) = \max\Big(s,\ \tfrac12 V_{k-1}(s+1) + \tfrac12 V_{k-1}(s+2)\Big)$을 통해 $V_k(s)$를 처음부터 다시 계산했습니다
(합계가 7을 초과하는 모든 경우는 즉시 0으로 처리), 기저 사례(base case)는 $V_0(s) = s$입니다.

기저 사례 (k=1): 정확히 일치합니다 — 예: $V_1(5) = 0.5(6) + 0.5(7) = 6.5$, $V_1(6) = 6$ (계속 진행할 경우 $0.5(7) = 3.5$만을 얻기 때문).
k=2부터 k=5까지: $V_3(3) = 0.5(6.25) + 0.5(6.5) = 6.375$ 및 $V_4(0) = 0.5(6.25) + 0.5(6.3125) = 5.8125$와 같이 더 정밀한 항목들을 포함하여, 표의 모든 셀이 저의 독립적인 계산 결과와 일치했습니다.
최종 답안: $V_5(0) = 0.5 \cdot V_4(1) + 0.5 \cdot V_4(2) = 0.5(6.25) + 0.5(6.3125) = 6.28125 = \frac{201}{32}$ ✓.

전략에 대한 주장 — 즉, 남은 상자의 수와 관계없이 "합계 $\geq 6$일 때만 중단"한다는 임계값(threshold)이 유효하다는 점 — 또한 표를 통해 직접 검증되었습니다: 모든 $k \geq 1$에 대해, $V_k(6) = 6$ (중단 값과 동일하므로 중단)이고 $V_k(5) = 6.5 > 5$ (따라서 계속 진행)이며, 상태 $\leq 4$는 훨씬 더 큰 계속 진행 값(continuation values)을 가집니다. 이는 진정으로 훌륭한 구조적 관찰(전체 정책을 안정화하는 $s=5,6,7$에서의 "고정점 (fixed point)")이며, 단순히 주장된 것이 아니라 정확하게 식별되고 올바르게 정당화되었습니다.
오류도 없고, 대충 얼버무리는 부분도 없습니다 — 각 단계의 추론이 제시되어 있으며 산술적으로 완벽합니다. 이 문제는 이보다 더 깔끔하게 풀 수 없을 정도로 완벽한 풀이입니다.

다음번에 테스트를 더 어렵게 만들고 싶다면, 모델에게 단순히 수치적으로 검증하는 대신 임계값 독립성 (threshold-independence) 결과를 폐쇄형 (closed form) (귀납법 (induction)을 통해)으로 증명하도록 요청할 수 있습니다. 그렇게 하면 동적 계획법 (DP)의 패턴을 매칭하는 모델과, 왜 $V_k(5)$와 $V_k(6)$가 고정점 (fixed points)이 되는지에 대해 실제로 추론하는 모델을 구분할 수 있을 것입니다.
제출자: /u/BoogerheadCult
[link] [comments]