AI의 심층 추론 능력 검증: First Proof 도전기 공개

OpenAI는 인공지능(AI) 모델이 전문적인 지식을 바탕으로 검증 가능한 논리적 증명(checkable proofs)을 생성할 수 있는지 테스트하는 'First Proof' 챌린지에 대한 자체 풀이 시도 결과를 공개했습니다. 이 도전은 단순한 단답형 문제나 일반적인 경쟁 스타일의 수학 문제를 넘어, 특정 도메인에 특화된 전문 지식을 활용하여 처음부터 끝까지 완전한 논리적 전개(end-to-end arguments)를 구축하는 능력을 요구합니다.

First Proof 문제는 해당 분야의 최고 전문가들이 출제했으며, 일부 문제들은 수년간 해결되지 않은 난제로 알려져 있어 학술적인 깊이가 매우 높습니다. 따라서 AI가 제시한 풀이의 정확성을 확립하기 위해서는 반드시 전문가 수준의 검토 과정이 필요합니다.

OpenAI는 자체 모델을 활용하여 10개의 First Proof 문제를 모두 시도했으며, 그 결과를 공유했습니다. 초기 분석에 따르면, 모델의 증명 시도 중 최소 5개 문제(문제 4, 5, 6, 9, 10)가 높은 정확도를 가질 가능성이 있다고 판단했습니다. 다만, 이 과정은 인간의 감독 하에 이루어졌으며, 일부 문제는 여전히 검토 단계에 있습니다.

이번 연구는 AI 모델의 다음 세대 역량을 평가하는 데 있어 가장 중요한 방법이라고 OpenAI는 강조합니다. 기존 벤치마크(Benchmarks)가 놓칠 수 있는 '장시간의 추론 사슬 유지', '적절한 추상화 선택', '문제 진술의 모호성 처리', 그리고 '전문가의 심층적인 검토를 견디는 논증 생성'과 같은 복잡한 연구 과정을 스트레스 테스트하는 데 초점을 맞추고 있습니다.

OpenAI 리서처인 James R. Lee에 따르면, 그들은 추론 과정의 엄밀도(rigor)를 높이는 새로운 모델을 훈련시키는 데 주력하고 있으며, 이 모델이 장시간 동안 지속적으로 사고하며 결론에 대해 높은 확신을 유지하는 것을 목표로 합니다. 그는 First Proof 문제가 완벽한 테스트베드였으며, 모델이 훈련 과정에서 점진적으로 능력이 향상되어 여러 문제를 해결할 수 있었던 경험을 공유했습니다.

실제 풀이 시도 과정은 제한적인 인간 감독 하에 진행되었습니다. 연구팀은 프롬프팅(prompting) 과정 중 성공적이었던 전략을 모델에게 재시도하도록 제안하거나, 전문가 피드백을 받은 후 증명의 특정 부분을 확장하고 명확히 하는 과정을 거쳤습니다. 또한, ChatGPT와의 상호작용을 통해 검증, 형식화, 스타일 교정 등의 작업을 수행하며 모델의 성능을 보조적으로 끌어올렸습니다.

이러한 노력은 과거 AI가 수학 및 과학 분야에서 달성했던 성과를 이어받는 것입니다. 예를 들어, 2025년 7월에는 일반 목적 추론 모델로 국제수학올림피아드(IMO)에서 금메달 수준의 성능을 보였으며, GPT-5를 활용한 과학 가속화 사례 연구와 같은 심도 있는 결과들을 발표해 왔습니다. OpenAI는 이러한 새로운 역량을 향후 공개 모델에 통합하여 커뮤니티와의 깊은 논의를 통해 발전시켜 나갈 계획입니다.