이런 문제를 만들었다.

어떤 외과의가 수술실에서 소년을 보고 "이 소년은 내 아들이다"라고 말했다.

이 외과의는 소년의 아버지이다. 외과의와 소년의 관계를 한마디로 답하시오.

정답은 문제문에 적혀 있다. 아버지. 수수께끼조차 아닌, 그저 소리 내어 읽기 문제. 이것을 Claude의 3개 모델에 던졌더니, 1개가 「어머니」라고 답했다. 부정적분을 암산하고, 1000 이하의 소수 개수를 즉답하는 모델이, 정답이 적혀 있는 두 줄을 읽지 않았다.

지능이 울퉁불퉁하여, 초인적인 봉우리 바로 옆에 인간이라면 떨어질 법한 골짜기가 있다. 기ザ기ザ 지능(jagged intelligence)이라고 불리는 성질로, 오늘은 그 골짜기의 위치를, 함정 문제 12문항 + 난제 2문항 × 3개 모델 = 42개 답변으로 측정했다. 결과는 42개 답변 중 40개 정답. 오답은 2개뿐이었다. 다만 그 2개는 모두 「지식이 너무 강해서 넘어졌다」는 형태였고, 설상가상으로 재시험을 해보니 골짜기의 위치가 9일 전의 실측값과 정반대로 뒤집혀 있었다.

[toc]

유명해진 골짜기는 아마 이미 대책이 마련되었을 것이다. 「strawberry의 r은 몇 개인가」, 「9.11과 9.9 중 어느 것이 더 큰가」는 워낙 많이 소재로 쓰였기에, 맞히는 것이 당연하다. 그래서 4가지 유형을 섞었다.

• 이미 메워졌을 고전: strawberry, 9.11, 배트와 공(bat and ball)
• 유명 문제의 변형: 정답을 문제문에 명시한 외과의, 죽은 고양이를 넣는 슈뢰딩거의 고양이(Schrödinger's cat), 사회자가 문을 열지 않는 몬티 홀 문제(Monty Hall problem), 농부와 양배추만 있는 강 건너기. 기억하고 있는 「정답」을 내놓으면 틀리게 설계됨
• 무명의 사양 문제:
  print(False == False in [False])

의 출력(연쇄 비교), 「とっとりけんとっとりし」의 「と」의 개수 - 난제: ∫x²eˣdx, 1000 이하의 소수 개수. 골짜기 옆에 봉우리가 있다는 것을 확인하기 위한 대조군.

정답 키는 전부 실행 또는 수계산으로 확인을 마쳤다. 「と」는 4개, r은 3개, 연쇄 비교는 True, 소수는 168개. 상대는 Haiku 4.5 / Sonnet 5 / Opus 4.8.

고전은 3개 모델 모두 전 문항 정답. 「9.11이 더 크다」라고 답하는 AI는 이제 없다. 배트와 공 문제도 모두 0.05달러를 즉답한다. 난제 측도 모두 정답이며, 적분도 소수도 망설임이 없다. 오답은 2개. Sonnet의 외과의 문제와, Haiku의 연쇄 비교.

Sonnet의 답변은 「어머니」였다. 원전이 되는 수수께끼(「외과의는 어머니였습니다」가 반전인, 성별 편향을 찌르는 유명 문제)를 훈련 과정에서 대량으로 보았기 때문에, 「외과의 수수께끼 → 정답은 어머니」라는 경로가 각인되어 있다. 그 기억이 눈앞에 굵은 글씨로 적혀 있는 「이 외과의는 소년의 아버지이다」를 이겼다.

인간으로 치면, 문제문을 끝까지 읽지 않고 「아, 이거 아는 거다」라며 답안을 작성해서 틀리는 그것이다. 지식 부족으로 넘어진 것이 아니라, 지식이 너무 많아서 넘어지고 있는 것이다. 불쾌한 점은, 똑똑해질수록 이런 형태의 골짜기는 더 깊어질 수 있다는 것이다. 참고로 죽은 고양이와 열리지 않는 몬티 문제는 3개 모델 모두 변형을 눈치채고 정답했으므로, Sonnet에게 변형을 간파하는 능력이 없는 것도 아니다. 외과의 문제만 기억이 이겼다. 왜 외과의 문제만 그랬는지는 알 수 없다.

또 다른 오답은 Haiku의 연쇄 비교. False == False in [False]는 (False == False) and (False in [False])로 전개되므로 True가 정답인 부분에서, Haiku는 False라고 답했다.

이것 단독이라면 「마이너 사양의 골짜기」로 끝날 이야기이지만, 9일 전에 동일한 문제를 동일한 3개 모델에 3회씩 던졌던 데이터가 수중에 있다. 나열하면 다음과 같다.

완전히 뒤집혀 있다. 모델의 버전은 동일하다. 변한 것은 질문 배치의 구성과 출력의 변동성뿐이다. 즉, 「Sonnet이 서툰 문제」라는 모델 고유의 성질조차 아니라, 같은 모델이 날마다 밟기도 하고 밟지 않기도 한다. 기ザ기ザ 지능이라는 단어에서, 나는 울퉁불퉁하게 고정된 지형도를 상상하고 있었다. 실측해 보니 골짜기의 위치는 움직인다. 왜 움직이는지는 이 실험으로는 알 수 없었다.

「이 모델은 이 문제를 풀 수 있었다」라는 확인이, 다음에도 풀 수 있다는 것을 보장하지는 않는다. 지난번 실측에서 나는 「만점은 Haiku뿐」이라고 적었다. 이번에 Haiku는 넘어졌다. 단 한 번의 실측으로 모델의 우열을 논하는 것은, 내가 했던 방식도 포함하여 위험하다.

AI 리뷰에서 우선 의심해야 할 지점도 이것으로 결정할 수 있다. 유명한 패턴과 매우 흡사한 변칙 케이스, 예를 들어 사양 변경 후의 코드나 관습과 반대되는 설계는 외과의사와 마찬가지로, 눈앞의 기술보다 기억이 우선시되기 쉽다. 인간 리뷰어가 「이건 전형적인 것이네」라며 대충 넘기는 지점과 같은 위치에, AI의 골짜기(valley)도 존재한다.

반대로, 호되게 비웃음을 샀던 고전적인 골짜기들은 전부 메워져 있었다. 인터넷에서 소재로 쓰이면, 훈련 데이터(training data)에 들어가, 메워진다. 이 루프가 돌고 있다면, 골짜기의 수명은 「유명해진 시점부터 다음 학습까지」가 된다.

• 42문항의 답은 적다. 이번에는 1문제당 1회이므로, 변동성(fluctuation)에 대한 논의는 n=1 간의 비교다. 「작동할 때가 있다」라고까지만 말할 수 있을 뿐, 빈도는 측정할 수 없다.
• 실험은 Claude Code의 서브 에이전트(sub-agent)를 경유하여, 자신의 환경 설정을 읽은 상태의 모델을 측정하고 있다. 순수 API(raw API)와는 조건이 다르다.
• 7/24와 8/2는 배치(batch) 내의 공존 문제가 다르다. 직전의 문제가 정답에 영향을 미쳤을 가능성을 배제할 수 없다.
• Claude 계열 3개 모델에 국한된 이야기다.

재현 레시피는 한 줄이면 충분하다. 자신의 분야에서 유명한 문제를 하나 골라, 정답을 문제문에 명시한 변형 문제를 만들고 AI에게 던진다. 외과의사의 변형은 그것만으로 만들었다. AI가 문제문을 읽은 것인지, 기억을 재생한 것뿐인지가 그 자리에서 바로 드러난다.

우리 42문항에서 걸려든 것은 외과의사와 연쇄 비교뿐이었다. 다만 골짜기는 움직이므로, 다음에 측정하면 다른 곳이 움푹 패어 있을지도 모른다.