AWTF 휴리스틱 (heuristic) 인간 vs AI 대결에 대한 나의 미묘한 예측:

OpenAI가 2025년에 2위를 차지했고 지난 1년간의 발전 속도가 엄청났기 때문에, 이것이 AI의 쉬운 승리가 될 것이라고 생각할 수도 있습니다. 하지만 그렇지 않습니다. 적어도 쉬운 승리는 아닙니다.

다뤄야 할 내용이 많으므로 중요한 모든 사항을 간략하게 살펴보겠습니다.

현재 AI 에이전트(AI agents)의 상태:

• 엄청난 속도로 코드를 생성합니다; 단일 에이전트는 아마도 가장 빠른 인간보다 1~2 자릿수(orders of magnitude) 정도 더 빠를 것입니다.
• 관련성 있고 적용 가능한 지식을 찾는 데 탁월합니다.
• 텍스트를 통해 쉽게 설명할 수 있는 문제에 대한 추론 (reasoning) 능력이 좋습니다.
• 코드 품질과 표현력 (expressiveness)은 훨씬 좋아졌지만 여전히 매우 뛰어난 코더들에게는 뒤처져 있습니다. 이는 주로 대규모 프로젝트에서 중요하므로, 이것이 이번 대결에 어떤 영향을 미칠지는 불분명합니다.
• 표준적인 자동 연구 (autoresearch) 방식은 국소 최적해 (local minima)에 쉽게 빠지는 경향이 있습니다.
• 놀라울 정도로 코드 최적화 (code optimization)에 서툽니다. 만약 다르게 생각하신다면... 유감입니다.

복잡한 최적화 문제 (optimization problems)에서 좋은 성과를 내려면 다음이 필요합니다:

• 매우 뛰어나고 철저한 문제 이해. 일반적인 문제의 경우 기존 지식을 적용하고 미세 조정하는 것으로 충분하지만, 진정으로 독특한 문제의 경우 어떤 형태의 지속적 학습 (continual learning)이 반드시 필요합니다.
• 모든 아이디어를 빠르게 구현할 수 있는 능력. 이러한 복잡한 문제를 해결하는 것은 반복적인 과정 (iterative process)입니다: 새로운 아이디어를 테스트할 때마다 문제에 대한 이해를 높여주는 새로운 지식을 얻게 됩니다. 더 빠르게 진행할수록 더 많은 정보를 추출할 수 있습니다.
• 아이디어로부터 최대의 성능을 짜내는 것. 이는 종종 미세한 조정 (tweaks)을 거친 많은 테스트를 수행하는 것을 요구합니다.

또한 내 개인적인 의견(IMHO)으로는, 2025년에 인간들이 (수면 부족으로 인한 나를 포함하여) 성과가 매우 저조했다는 점을 주목할 가치가 있습니다. 만약 내가 (리더보드 없이) 단독으로 경쟁했다면, 아마도 4~6위 정도로 마무리했을 것이라고 추측합니다.

위의 모든 내용을 바탕으로, AI의 주요 장점은 엄청난 속도와 작업을 병렬화(parallelize)할 수 있는 능력인 반면, 주요 약점은 시간이 지남에 따라 자신이 해결하려는 문제에 대해 더 똑똑해지지 않는다는 점이라고 말할 수 있습니다. 간단한 비유를 들자면, 여기서 AI는 서로 긴밀하게 협력하는 100명의 평범한 프로그래머와 같습니다.

대결이 길어지고 문제가 독특할수록 인간에게 승산이 높아집니다. 반면에, 문제가 구현(implementation) 측면에 매우 치중되어 있거나, 작은 수정(tweaks)을 통해 훌륭한 솔루션에 도달할 수 있는 경우(즉, "무작위 솔루션"에서 매우 좋은 솔루션으로 가는 기울기(gradient)가 완만한 경우), 인간에게는 기회가 많지 않을 것입니다.

2025년에는 문제 출제자들이 AI가 아직 그렇게 뛰어나지 않다고 가정했기에 문제가 "AI 방어(AI-proofed)"되어 있지 않았습니다. 저는 올해는 문제 설계에 많은 고민이 담겼을 것이라 확신하며, 진정으로 독특한 무언가를 기대할 수 있다고 생각합니다. 인간이 AI를 상대로 이길 가능성이 높은 다양한 문제들이 분명히 존재하겠지만, 그런 문제를 찾는 것은 매우 까다로울 수 있으며, 당연히 AtCoder가 현재 OpenAI가 보유한 최고의 내부 모델을 상대로 테스트할 수는 없습니다.

반면에, 왜 OpenAI가 2026년에 다시 인간과 경쟁하기로 결정했는지 스스로에게 질문할 수도 있습니다. 2025년에 그들은 IMO에서 매우 강력한 결과를 냈고, AWTF 휴리스틱(heuristic)에서 2위를 차지했으며, ICPC의 모든 문제를 해결했습니다. 만약 2026년에 그들이 쉽게 이기지 못한다면 이는 거대한 서사적 모순(narrative violation)이 될 것입니다, 그렇지 않나요? 이를 고려할 때, 저는 OpenAI가 여기에 실제적인 노력을 기울였으며, 단순히 더 강력한 기반 모델을 사용하여 2025년에 했던 것과 똑같은 방식을 반복하는 것이 아니라고 예상합니다. 현재 AI의 많은 단점들은 더 나은 활용(harness, 다양한 아이디어의 탐색(exploration)을 개선하기 위해)과 대규모 병렬화(massive parallelization)를 통해 완화될 수 있습니다. OpenAI의 공식 참여인 만큼, 우리는 OpenAI가 여기서 무한한 추론(inference) 능력을 사용할 수 있다고 안심하고 가정할 수 있습니다. "코드 최적화에 취약함"과 같은 대규모 추론 문제들은 대부분 사라질 것입니다.

좋습니다, 내용이 꽤 길었으니 저의 실제 예측은 무엇일까요?

저는 OpenAI가 상당한 노력을 기울였으며 승리를 기대하고 있다고 믿습니다. 만약 그들이 온라인 10일 대회에서 지속적으로 승리해 왔다면, 2일간의 결승전에서 승리하는 것은 쉬운 일일 것입니다. 또한 저는 AtCoder의 결승 문제가 매우 독특하며 과거의 어떤 문제와도 완전히 무관할 것이라고 확신합니다.

OpenAI가 자신들의 우위를 천천히 드러내는 전략(slowplays)을 쓰지 않는 한, 우리는 다시 한번 그들이 시작부터 압도적인 리드를 가져갈 것이라고 예상해야 합니다. 다시 한번 인간들은 추격하는 게임을 하게 될 것입니다. 만약 대회 막바지에 그들의 우위가 엄청나다면 OpenAI 측에서 몇몇 트윗을 올릴 수도 있겠지만, 그들이 휴리스틱 (heuristic)과 알고리즘 (algo) 모두에서 완벽한 승리(full sweep)를 거둘 때까지 기다린다고 해도 놀랍지 않을 것입니다.

결국, 저는 인간에게 약 20-25%의 승리 확률을 부여합니다. 어느 쪽이든, 최첨단 (frontier) AI 연구소들이 자신들의 최고의 내부 모델 (in-house models)을 테스트하려는 모습을 볼 기회는 흔치 않기 때문에, 이번 대결은 재미와 교육적 가치를 모두 제공할 것입니다.