이 글은 Kaggle Benchmarking Challenge에 제출하는 내용입니다.
정적인 벤치마크는 유효 기간이 있습니다. 일단 문제가 공개되면 학습 데이터셋에 포함될 수 있고, 점수는 기억력을 측정하기 시작합니다. 저는 기억력이 도움이 될 수 없는 과제들을 원했습니다. 그래서 고정된 시드(seed)에서 코드를 이용해 이를 생성했고, 모든 답변을 프로그램으로 검사했습니다. 어떤 모델도 다른 모델의 점수를 매기지 않습니다.
그 결과물은 VORTEX (Valuation of Reasoning, Tool-use, and EXpertise)라는 Kaggle 기반의 5가지 과제 벤치마크입니다. 저는 이 벤치마크를 세 가지 모델로 실행했습니다. 점수 자체는 흥미로웠습니다. 하지만 그 점수 뒤에 숨겨진 행동이 더 흥미로웠습니다.
제가 벤치마킹한 것들
각 과제는 하나의 역량(capability)을 목표로 하며, 지름길을 사용하는 것을 방해하는 트위스트(twist)를 가지고 있습니다.
| Task | What it tests | The twist |
|---|
| Alien Interpreter | Spec에서 완전히 새로운 스택 언어의 인터프리터를 작성하는 것. 45개의 숨겨진 프로그램으로 점수화됩니다. | 세 가지 방언(dialect)이 하나의 문법을 공유하지만, 나누기 반올림, 정수 너비, 빈 스택 동작, 피연산자 순서 등 작은 규칙에서 차이를 보입니다. |
Alien Interpreter에서 세 모델 모두 모든 45개의 숨겨진 프로그램(hidden programs)을 통과하는 인터프리터를 작성했습니다. 여기에 도달하기까지의 비용은 매우 달랐습니다:
| 출력 토큰 (Output tokens) | 벽 시간 (Wall time) | 비용 (Cost) |
|---|
| GPT-5.4 | ~2,400 | 30초 (s) | $0.04 |
| ... | | | |
| Gemini는 동일한 답변에 도달하기 위해 GPT-5.4보다 약 20배 많은 토큰을 사용했습니다. 점수만 보여주는 리더보드는 이를 볼 수 없습니다. 비용과 지연 시간(latency)은 정확도만큼 중요합니다. | | | |
2. 답변을 내기 전의 노력(Effort before answering)이 어려운 작업 결과 예측
Temporal Ledger에서 세 모델은 레저당 매우 다른 양의 텍스트를 작성했습니다:
- Gemini 3.7 Flash: 18,000 ~ 27,000 토큰
- Claude Sonnet 5.5: 7,000 ~ 13,000 토큰
- GPT-5.4: 100 ~ 1,300 토큰
점수는 같은 순서를 따릅니다. Gemini와 Claude는 모든 레저를 정확히 재현했습니다(to the cent). GPT-5.4는 18개 계정 중 하나만 맞혔습니다. 레저 1에서는 전혀 작동하지 않았고 바로 최종 잔액으로 넘어갔습니다. 이는 계산이 아니라 추측이며, 이 작업은 추측이 실패하도록 설계되었습니다: 단 하루의 일광 절약 시간 변경(daylight-saving shift)이나 한 번 역전된 이체(reversed transfer)만 답을 바꿉니다.
주의할 점: 저는 GPT-5.4를 기본 설정(default settings)으로 실행했으며, 실행 파일에서 추론 과정(reasoning setting) 설정을 볼 수 없었습니다. 데이터는 '기본 설정으로는 로그를 통해 작동하지 않았다'는 것을 뒷받침합니다. 'GPT-5.4가 이것을 할 수 없다'는 것은 뒷받침하지 않습니다.
3. Black-Box Oracle에서 실험(experimented)을 적게 한 모델이 더 나빴다
Claude와 Gemini는 약 0.92점을 기록했습니다. GPT-5.4는 0.43점을 기록했습니다. 가장 낮은 결과는 가장 간단한 함수 중 하나인, 위치 _i_의 문자를 4 × _i_만큼 이동시키는 문자 규칙(string rule)에서 나왔습니다. 여기서는 0.15점을 받았습니다. 이 함수에 대해 GPT-5.4는 모델 턴을 3~6번 사용했습니다. Gemini는 최대 26번을 사용했습니다.
GPT-5.4는 한 줄의 추측만으로 맞힐 수 있는 두 가지 쉬운 리스트 함수(list functions)는 해결했지만, 나머지 대부분은 놓쳤습니다. 이는 가설 검정(hypothesis testing)이라기보다는 몇몇 출력에 대한 패턴 매칭(pattern-matching)처럼 보입니다.
강력한 모델들이 완벽하지는 않았다. 두 모델 모두 동일한 기능을 놓쳤다: 세 개의 연결된 단계(20으로 모듈러 곱하고 더하기, 다음 인접 차이 계산, 그리고 14로 모듈러 누적 합). 이 기능은 두 모델 모두에게 가장 어려웠다. Gemini는 이 주제에 대해 약 66,000 토큰을 작성했고 Claude는 약 33,000 토큰을 작성했지만, 어느 쪽도 해결하지 못했다. 더 많은 노력이 도움이 되었지만, 이 기능은 여전히 그들의 능력을 벗어난다.
세 모델 모두 탈출할 수 있었다. GPT-5.4는 가장 큰 미로에서 120 라운드의 도구 사용 제한에 걸려 0.88점을 받았다. 그 원인은 이동 방식이었다:
| move 호출 | 단일 단계였던 비율 (Share that were single steps) | 입력 토큰 (Input tokens) |
|---|
| Claude Sonnet 5.5 | 107 | 21% | ~0.37 M |
| ... | | | |
move 도구는 NNEESSW와 같은 긴 경로를 받아들여 첫 번째 장애물에서 멈춘다. 지도를 기억하는 모델은 한 번의 호출로 긴 경로를 보낼 수 있다. GPT-5.4는 대부분 단일 단계만 이동하고 다시 주변을 살폈다. 이는 다른 모델보다 약 2~3배 많은 입력 토큰을 사용했으며 비용도 거의 두 배에 달했다. 이 과제는 계획과 기억력을 요구하며, 호출 패턴은 누가 그것들을 사용했는지 보여준다.
5. 너무 쉬워진 두 가지 과제 (Two tasks are too easy now)
세 모델 모두 Spine Test에서 1.00점을 받았다. 어느 쪽도 자신감 있고 권위가 뒷받침되는 잘못된 주장에 넘어가지 않았고, 올바른 유도가 제시되었을 때는 모두 업데이트했다. 이는 이들 모델에 대한 좋은 소식이지만, 이 과제가 더 이상 그들을 구분하지 못한다는 의미이기도 하다. Alien Interpreter 역시 같은 문제가 있다. 나는 둘 다 더 어렵게 만들 것이다: 미묘한 거짓 주장, 더 긴 산술 연쇄, 그리고 더 많은 사례.
나를 놀라게 한 것 (What surprised me)
점수가 주요 이야기는 아니었다. 동일한 점수판 뒤에는 매우 다른 작업 습관이 숨겨져 있었다: 각 모델이 얼마나 오래 생각했는지, 가설을 테스트했는지, 그리고 미리 계획했는지가 그러했다. 이 세트에서는 모델 이름보다 습관이 결과의 더 많은 부분을 설명했다.
다음에 측정할 것 (What I'd Measure Next)
- 추론 노력(Reasoning effort)을 변수로. 추론 능력을 높인 GPT-5.4로 다시 실행하여 Ledger와 Oracle의 격차가 좁혀지는지 확인합니다.
- 더 어려운 Spine 및 Alien 작업을 통해 모델들이 다시 분리되는지 확인합니다.
- 반복 실행(Repeated runs). 어떤 순위를 주장하기 전에, 각 모델을 여러 번 실행하여 실행 간 편차(run-to-run variance)를 측정합니다.
- 점수로서의 효율성. 정확도와 함께 토큰 수, 시간, 비용을 보고합니다.
나의 벤치마크
Kaggle 벤치마크 링크: https://www.kaggle.com/benchmarks/farzado/vortex/versions/1