Sonnet 5.5가 MCP를 통해 GPT 6.1 Sol과 전체 체스 게임을 진행하게 했습니다. 녹화 및 사용 내역입니다.

Sonnet은 자신의 졸 승진(pawn promotion)을 '막을 수 없는 것'이라고 표현했습니다. 몇 수 후, Sonnet은 자신이 방어를 놓쳤음을 인정했습니다. 보드가 설명 옆에 배치되어 있어 이를 간과하기는 어려워 보였습니다.
저는 Claude Desktop에서 Sonnet 5.5와 Codex에서 GPT 6.1 Sol 사이에 체스 대국을 설정했습니다. 두 모델 모두 전체 게임 동안 하나의 대화창에서 진행되었으며, MCP를 통해 제가 Medium 추론으로 구축한 로컬 Mac 앱에 연결되었습니다.
이 앱은 포지션을 제공하고 합법성을 확인해 주었지만, 어떤 플레이어에게도 체스 엔진이나 합법 수 목록은 제공되지 않았습니다. 저는 이들이 한 시간 동안 과제에 몰두하는 모습을 지켜보고, 그들의 계획이 작동을 멈출 때 무슨 일이 벌어지는지 보고 싶었습니다.
또한 소비량에도 궁금했습니다. Sol은 최근 구독 할당량에서 놀라울 정도로 적은 양만 사용하고 있었고, 저는 이 수치를 Sonnet과 공유 과제에서 비교해 보고 싶었습니다.
첨부된 비디오는 62분 47초를 4분 10초로 압축한 것입니다. 두 모델 모두 Medium 설정으로 진행되었습니다.

측정: Sonnet 5.5 / Claude GPT 6.1 Sol / Codex

소요 시간 (주장된 턴 기준): 33분 45초 / 21분 12초
출력 토큰 (추론 포함): 269,076 / 34,956
사고/추론 부분 출력: 224,770 / 12,128
누적 입력 토큰: 57.44M / 16.81M
캐시에서 읽은 입력: 99.07% / 98.95%
거부된 불법 수: 1 / 0
추정 API 환산액: $16.21 / $2.37

Sonnet이 지나가는 졸(passed pawn)을 승진 쪽으로 밀어붙였지만, Codex의 Bf3 방어를 간과했습니다. 나중에 Sonnet은 자신의 졸에 의해 막히는 퀸 이동을 제안하기도 했습니다. 서버가 이를 거부했고, Claude가 수를 수정하며 계속 진행했습니다. Codex 역시 이전에 졸을 잘못 해석하여 실제로는 지나가지 않는 졸이라고 설명한 적이 있었습니다.
Claude는 53.Qc4 이후 기권을 선언했습니다. Claude가 첫 번째 게임에서 승리했기 때문에 현재 스코어는 1승 1무로 동률입니다.
테이블 뒤의 몇 가지 세부 사항: 턴 시계는 서버가 업데이트된 보드를 공개하기 전에 시작하며, 도구 활동이 포함됩니다. 런타임이 턴을 주장하는 것을 기다리는 시간은 별도로 측정되었습니다. 토큰 총합은 설정 및 종료를 포함한 전체 플레이어 대화를 다루지만, 모니터링 과정은 제외합니다.

캐시된 컨텍스트는 요청마다 다시 계산됩니다. '생각(Thinking)' 과정은 이미 출력에 포함되어 있으며, 제공업체들마다 보고하는 방식이 다릅니다. API 등가물은 앱의 9월 30일 가격 스냅샷을 사용하며, 이 게임으로 인해 어떠한 API 비용도 발생하지 않았습니다.

녹화가 끝날 무렵, Claude의 5시간 사용량 표시 비율은 23%에서 56%로, 주간 사용량 비율은 54%에서 59%로 증가했습니다. 저는 해당 간격 동안 이 활동을 위해 오직 Claude만을 사용했습니다. Codex의 주간 표시 비율은 다른 작업을 수행하고 매분 정도 경기를 모니터링했음에도 불구하고 5%에 머물렀습니다.

제 계획 비용은 Claude가 월 $20, ChatGPT가 월 $200입니다. 이 백분율들은 매우 다른 분모를 가지고 있으며, 변하지 않은 반올림된 표시 비율이 사용량이 없다는 것을 의미하지는 않습니다. 저는 이러한 관찰을 플레이어 세션의 토큰 카운트와는 별개로 유지할 것입니다.

두 게임만으로 플레이 강도를 추론하고 싶지는 않습니다. Codex는 두 경기 모두 백(White)이었고, 컨텍스트와 런타임이 달랐으며, Medium은 동등한 컴퓨팅 예산이 아닙니다. 저는 색깔을 바꾼 상태로 이 실험을 반복하고 싶습니다. 특히 Sonnet의 훨씬 큰 출력 총합이 계속 표시되는지, 그리고 어떤 모델이 서버나 상대방이 실수하는 것을 발견하기 전에 얼마나 자주 그 실수를 알아차리는지에 대해 궁금합니다.

제출자: /u/adigrazia80
[링크] [댓글]