Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Ornith 397B 모델의 추론 능력을 테스트한 결과, Claude Opus 수준의 고난도 수학 문제 해결 능력을 보여주었습니다. 특히 동적 계획법과 역방향 귀납법이 필요한 복잡한 확률 문제를 완벽하게 풀어내며 강력한 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 모델이 출시된 이후 몇 주 동안 평가해 왔습니다. 처음에는 Q2 (bartowski)로만 구동할 수 있어서 회의적이었지만, 최근 제가 진행 중인 로컬 복합 프로젝트 중 하나를 리팩토링(refactor)하고 싶어서 이 모델을 투입해 보았는데 결과가 훌륭했습니다. 응답 수준이 거의 Opus 급이라 계속해서 평가를 진행했고, 계속해서 놀라움을 금치 못했습니다.
오늘 저는 이 모델이 제가 생각했던 것보다 더 똑똑하다고 느껴져서, Opus를 사용해 매우 어려운 수학 문제를 만들어 테스트해 보았는데 10/10점을 받았습니다. 제 표정이 얼마나 놀랐을지 상상해 보세요.
관심 있는 분들을 위해 Claude Opus가 낸 문제와 Ornith의 솔루션, 그리고 Opus의 평가를 공유합니다.
이제 이 모델은 저의 데일리 드라이버(daily driver)로서 Qwen3.6-27B를 대체하고 있습니다. 이 훌륭한 모델을 구동할 수 있는데 Qwen3.6-27B를 사용할 이유는 거의 없습니다.
Claude Opus의 문제
여기 확실한 문제가 있습니다. 단순히 패턴 매칭(pattern matching)이 아니라 실제 역방향 귀납법(backward-induction)/동적 계획법(dynamic-programming) 추론이 필요하므로, LLM을 위한 좋은 스트레스 테스트가 될 것입니다. 저는 정확한 해답을 가지고 있으며, 당신이 가져오는 어떤 답변이든 채점할 것입니다.
문제:
당신은 5개의 밀봉된 상자가 있는 게임을 하고 있습니다. 각 상자에는 독립적으로 1개의 금화 또는 2개의 금화가 들어 있으며, 각각의 확률은 1/2입니다. 당신은 상자를 하나씩 순서대로 엽니다. 각 상자를 연 후에는 현재까지의 합계를 확인하고 다음 중 하나를 선택해야 합니다:
주의 사항: 어느 시점에서든 합계가 7을 초과하면 (즉, 8, 9, 또는 10에 도달하면), 즉시 모든 것을 잃게 되며 게임은 0원의 지급과 함께 종료됩니다.
답해야 할 질문:
테스트하고 싶은 어떤 모델이든 이 문제를 주고, 그 응답을 여기에 붙여넣어 주세요. 제가 가진 해답과 비교하여 전략과 수치적 기대값을 모두 채점하겠습니다.
Ornith 397B의 응답 - IQ2_S - Bartowski
해답
최적 정지 전략(Optimal Stopping Strategy)
최적 전략은 남은 상자의 개수에 의존하지 않는 간단한 임계값 규칙입니다:
누적 합계가 ≥ 6이면 멈추고, 누적 합계가 ≤ 5이면 계속합니다.
이 규칙은 상자가 5개, 4개, 3개, 2개 또는 1개 남았는지 여부와 관계없이 동일합니다. 그 이유는 다음과 같이 우아합니다:
s = 6일 때: 계속하면 기대값은 $0.5 imes 7 + 0.5 imes 0 = 3.5$입니다 (2개의 동전을 뽑으면 8에서 초과하여 실패하므로). 멈추면 6을 얻습니다. 따라서 멈춥니다.
s = 5일 때: 계속하면 $0.5 imes V(6) + 0.5 imes V(7) = 0.5 imes 6 + 0.5 imes 7 = 6.5$이며, 이는 $k$ 값에 관계없이 성립합니다. $6.5 > 5$이므로 항상 계속해야 합니다.
s ≤ 4일 때: 계속하는 값이 훨씬 더 크기 때문에 항상 계속해야 합니다.
기대값(Expected Value)
상자가 5개 열리지 않은 상태에서 0개의 동전으로 시작할 때, 최적 플레이 하의 기대값은 다음과 같습니다:
$$oxed{V_5(0) = rac{201}{32} = 6.28125}$$
검증: 전체 값 함수(Full Value Function)
아래 표는 $V_k(s)$ — 상자가 $k$개 남았고 현재 $s$개의 동전을 가지고 있을 때의 최적 기대값을 보여줍니다:
| s | k=0 | k=1 | k=2 | k=3 | k=4 | k=5 |
|---|---|---|---|---|---|---|
| 0 | 0.00 | 1.50 | 3.00 | 4.50 | 5.8125 | 6.28125 |
| 1 | 1.00 | 2.50 | 4.00 | 5.50 | 6.25 | 6.34375 |
| 2 | 2.00 | 3.50 | 5.00 | 6.125 | 6.3125 | 6.3125 |
| 3 | 3.00 | 4.50 | 6.00 | 6.375 | 6.375 | 6.375 |
| 4 | 4.00 | 5.50 | 6.25 | 6.25 | 6.25 | 6.25 |
| 5 | 5.00 | 6.50 | 6.50 | 6.50 | 6.50 | 6.50 |
| 6 | 6.00 | 6.00 | 6.00 | 6.00 | 6.00 | 6.00 |
| 7 | 7.00 | 7.00 | 7.00 | 7.00 | 7.00 | 7.00 |
$V_k(5) = 6.5$이고 $V_k(6) = 6$인 것을 주목하십시오. 이 값들은 임계값 행동이 시작되면 고정점(fixed points)이 되며, 이것이 전략이 $k$와 독립적인 이유입니다.
여기에 Opus가 평가한 해답이 있습니다
제가 전체 역방향 유도(backward-induction)를 독립적으로 실행하여 확인했는데, 완전히 정확합니다. 표의 모든 항목과 최종 답 모두 일치합니다.
점수: 10/10
검증 요약:
재귀식 $V_k(s) = \max\Big(s,\ \tfrac12 V_{k-1}(s+1) + \tfrac12 V_{k-1}(s+2)\Big)$을 통해 $V_k(s)$를 처음부터 다시 계산했습니다
(합계가 7을 초과하는 모든 경우는 즉시 0으로 처리), 기저 사례(base case)는 $V_0(s) = s$입니다.
기저 사례 (k=1): 정확히 일치합니다 — 예: $V_1(5) = 0.5(6) + 0.5(7) = 6.5$, $V_1(6) = 6$ (계속 진행할 경우 $0.5(7) = 3.5$만을 얻기 때문).
k=2부터 k=5까지: $V_3(3) = 0.5(6.25) + 0.5(6.5) = 6.375$ 및 $V_4(0) = 0.5(6.25) + 0.5(6.3125) = 5.8125$와 같이 더 정밀한 항목들을 포함하여, 표의 모든 셀이 저의 독립적인 계산 결과와 일치했습니다.
최종 답안: $V_5(0) = 0.5 \cdot V_4(1) + 0.5 \cdot V_4(2) = 0.5(6.25) + 0.5(6.3125) = 6.28125 = \frac{201}{32}$ ✓.
전략에 대한 주장 — 즉, 남은 상자의 수와 관계없이 "합계 $\geq 6$일 때만 중단"한다는 임계값(threshold)이 유효하다는 점 — 또한 표를 통해 직접 검증되었습니다: 모든 $k \geq 1$에 대해, $V_k(6) = 6$ (중단 값과 동일하므로 중단)이고 $V_k(5) = 6.5 > 5$ (따라서 계속 진행)이며, 상태 $\leq 4$는 훨씬 더 큰 계속 진행 값(continuation values)을 가집니다. 이는 진정으로 훌륭한 구조적 관찰(전체 정책을 안정화하는 $s=5,6,7$에서의 "고정점 (fixed point)")이며, 단순히 주장된 것이 아니라 정확하게 식별되고 올바르게 정당화되었습니다.
오류도 없고, 대충 얼버무리는 부분도 없습니다 — 각 단계의 추론이 제시되어 있으며 산술적으로 완벽합니다. 이 문제는 이보다 더 깔끔하게 풀 수 없을 정도로 완벽한 풀이입니다.
다음번에 테스트를 더 어렵게 만들고 싶다면, 모델에게 단순히 수치적으로 검증하는 대신 임계값 독립성 (threshold-independence) 결과를 폐쇄형 (closed form) (귀납법 (induction)을 통해)으로 증명하도록 요청할 수 있습니다. 그렇게 하면 동적 계획법 (DP)의 패턴을 매칭하는 모델과, 왜 $V_k(5)$와 $V_k(6)$가 고정점 (fixed points)이 되는지에 대해 실제로 추론하는 모델을 구분할 수 있을 것입니다.
제출자: /u/BoogerheadCult
[link] [comments]