2026년 8월 1일, OpenAI는 수학 및 이론 컴퓨터 과학 (Theoretical Computer Science) 분야에서 10가지 새로운 결과를 발표하며 차세대 모델 제품군인 Astra를 발표했습니다. 각 결과는 최소 10년 동안 미해결 상태였던 문제들이었으며, 각각은 기계로 검증 가능한 Lean 4 인증서 (Certificate)와 함께 제공되었습니다.

자연스러운 질문이자 우리가 계속해서 되풀이했던 질문은 이것입니다: 만약 이전에 아무도 이 문제들을 해결하지 못했다면, Astra가 그저 그럴듯한 허구(Hallucinating a convincing fiction)를 만들어내고 있는 것이 아니라는 것을 어떻게 알 수 있을까요? 그 답은 Lean 증명이 한 종류의 의구심은 완전히 해결하지만, 나머지 세 종류의 의구심에 대해서는 침묵한다는 것입니다. 어떤 것이 무엇인지 이해하는 것이 이야기의 핵심이며, 이는 수학을 훨씬 넘어서는 중요한 문제입니다.

우리는 규제 환경 (Regulated environments)을 위한 검증 시스템을 구축하고 있으므로, 이 질문은 우리의 일상적인 업무입니다. 다음은 Astra 증명이 무엇을 입증하고 무엇을 입증하지 못하는지에 대한 솔직한 분석입니다.

OpenAI의 Astra가 실제로 수행한 것

Astra는 10가지 결과를 생성했으며, OpenAI는 오픈 라이선스 하에 공개 리포지토리 (Public repository)에 모든 결과에 대한 Lean 인증서를 게시했습니다. 목록은 구체적이며 검증 가능합니다: 비소픽 군 (Non-sofic group)의 구성, Connes의 강성 추측 (Connes's rigidity conjecture)에 대한 반례, Ehrhart의 부피 추측 (Ehrhart's volume conjecture) 증명, 퍼머넌트 (Permanent)에 대한 새로운 하한선, 최단 벡터 문제 (Closest vector problem)의 근사 난이도, 지수적 양자 병렬 반복 (Exponential quantum parallel repetition), Cohn-Elkies 임계값에서의 개선된 구 채우기 (Sphere-packing) 경계, 그리고 146, 180, 183을 포함한 여러 Erdős 문제의 해결입니다. 보고에 따르면 전체 컴퓨팅 비용은 약 2,000달러가 소요되었습니다. 리포지토리에 따르면 10개의 증명 전체에서 남겨진 미증명 단계의 수는 0개입니다.

중요한 부분은 10가지 결과 자체가 아닙니다. 노트북과 Lean 컴파일러(Compiler)가 있는 사람이라면 누구나 OpenAI를 전혀 신뢰하지 않고도 각 인증서를 독립적으로 검증할 수 있다는 점입니다.

Astra 증명이 2025년 Erdős 주장과 다르게 받아들여진 이유

OpenAI는 이전에도 이 무대 위에 섰다가 추락한 적이 있습니다. 2025년 10월, 이 회사는 자사의 모델 중 하나가 10개의 Erdős 문제를 해결했다고 발표했습니다. 하지만 사실이 아니었습니다. 해당 모델은 기존 문헌에서 이미 존재하는 해결책들을 검색하여 마치 새로운 것처럼 제시했을 뿐이었고, 이를 검토한 수학자는 이를 극적인 왜곡 (misrepresentation)이라고 불렀습니다. 그 주장은 모델이 스스로에 대해 설명하는 내용을 신뢰하는 것에 기반하고 있었으며, 그 신뢰는 전문가와 접촉하는 순간 무너졌습니다.

2026년의 차이점은 더 똑똑해진 모델이 아닙니다. 모델의 말이 더 이상 당신이 믿어야 할 대상이 아니라는 점입니다. Lean 4는 작고 신뢰할 수 있는 커널 (kernel)을 가진 증명 보조 도구 (proof assistant)입니다. Lean에서의 증명은 읽기 좋게 서술된 논증이 아닙니다. 그것은 커널이 공리 (axioms)에 따라 단계별로 확인하는 항 (term)이며, 판결은 이진적 (binary)입니다. 컴파일이 되거나, 되지 않거나 둘 중 하나입니다. 교묘하게 빠져나가는 자신감 넘치는 문단도 없고, "따라서 명백하게"와 같은 문구로 메워진 논리적 공백도 없습니다. 논리가 성립하지 않으면 컴파일되지 않습니다.

이것이 결정론적 검증 (deterministic check)의 모습입니다. 모델은 확률적 생성기 (probabilistic generator)이며, Lean 커널은 충족되거나 충족되지 않는 규칙입니다. 신뢰성 위기를 구한 조치는 간단했습니다. 사람들에게 모델을 믿으라고 요구하는 것을 멈추고, 그들이 스스로 재계산할 수 있는 사실을 건네준 것입니다.

AI가 Lean을 통과하면서도 수학 증명을 환각 (hallucinate)할 수 있을까?

특정한 종류의 환각에 대해서라면 대답은 '아니오'이며, 이것이 이번 발표가 무게감을 갖는 이유입니다. 논증이 유창하지만 중간에 미묘하게 유효하지 않은 오류가 발생하는 실패 모드는 사라졌습니다. 커널은 증명이 얼마나 유창한지에 관심이 없습니다. 모든 추론 (inference)은 기계적으로 검증되므로, 컴파일되는 증명은 구조적으로 (by construction) 논리적으로 유효합니다. 이것이 이 분야의 작업이 도달할 수 있는 확실성에 가장 가까운 상태입니다.

하지만 초록색 체크표시는 다른 세 가지 사항에 대해서는 침묵하며, 이 각각은 완벽하게 컴파일되면서도 틀릴 수 있는 방법들입니다.

What a Lean certificate catches, and the three things it does not

Lean 인증이 증명하지 못하는 것

그 문장이 당신이 생각하는 의미가 아닐 수도 있습니다. Lean은 정리를 증명합니다. 하지만 그 정리는 인간이 작성한 형식적 진술 (formal statement)입니다. 만약 "비-소픽 군 (non-sofic group)이 존재한다"라는 정식화 (formalization)가 미묘하게 너무 약하거나, 가설에서 무언가를 은밀하게 가정하고 있다면, Lean은 틀린 것을 완벽하게, 충실히 증명해낸 것입니다. 이것은 논리적 오류가 아닙니다. 영어로 된 문제와 Lean의 진술 사이의 번역 오류이며, 커널 검사 (kernel checking)로는 그 어떤 것도 잡아낼 수 없습니다. 수학과 형식 언어 (formal language)를 모두 아는 누군가가 그 진술을 읽고, 그것이 진정으로 미해결 문제 (open problem)인지에 동의해야 합니다.

거짓 공리 (false axiom)는 무엇이든 증명합니다. 커널은 주어진 공리에 기반하여 구축됩니다. 부주의나 의도에 의해 단 하나의 잘못된 공리라도 추가된다면, 시스템은 그 어떤 문장이든 증명할 것입니다. Lean은 증명이 의존하는 전체 공리 목록을 출력할 수 있게 해주므로 검증이 가능하지만, 이는 누군가가 실제로 그것을 확인했을 때만 유효합니다.

컴파일이 된다고 해서 새로운 것은 아닙니다. 이것이 바로 2025년의 시도가 실패한 방식입니다. 문헌에서 통째로 가져온 증명도 독창적인 증명만큼이나 깔끔하게 컴파일됩니다. Lean은 문장이 참이라고 알려줄 뿐, 그 문장이 새롭다고 알려주지는 않습니다. 해당 분야를 아는 전문가만이 그 결과가 진정한 진보인지 아니면 재발견인지 말할 수 있습니다.

신뢰는 사라진 것이 아니라 이동했을 뿐입니다

이것이 일반화될 수 있는 핵심입니다. 검증 (Verification)이 인간의 판단에 대한 필요성을 제거한 것은 아닙니다. 그것은 판단의 위치를 옮겼고, 그 범위를 축소했을 뿐입니다.

Lean이 등장하기 전에는 수학자가 논증 전체를 읽고 모든 단계가 타당한지 결정해야 했으며, 이는 방대하고 오류가 발생하기 쉬운 영역이었습니다. Lean 이후에는 그 모든 부담이 커널 (Kernel)에 흡수되었습니다. 인간에게 남은 과제는 더 좁고 날카로워졌습니다. 즉, 이 형식적 진술 (Formal statement)이 실제 문제와 일치하는지, 그리고 그 공리 (Axioms)들이 정직한지 확인하는 것입니다. 이는 더 작은 질문이지만, 덜 중요한 질문은 아닙니다. 그것은 바닥 아래에 있는 바닥입니다. 기계적 검증 (Machine check)은 실재하며, 그 밑에는 기계에게 무엇을 요청했는지에 대한 환원 불가능한 인간의 검증 (Human check)이 자리 잡고 있습니다.

이것의 가장 강력한 형태는 리포지토리 (Repository) 자체에 구현되어 있습니다. OpenAI는 단순히 자사의 기계에서 컴파일되는 인증서 (Certificates)만을 공개한 것이 아닙니다. 외부인이 독립적으로 검증을 재실행할 수 있는 도구 (Tooling)도 포함했습니다. 그것은 공개되고 재실행 가능한 결정론적 바닥 (Deterministic floor)이며, 논증이 취할 수 있는 가장 정직한 형태입니다. 즉, 우리가 통과했다고 믿지 말고, 직접 실행해 보라는 것입니다.

이것이 AI로 무언가를 만드는 모든 이들에게 의미하는 바

이 글을 읽는 대부분의 사람들은 정리를 증명하고 있지는 않습니다. 하지만 AI가 중요한 무언가에 닿는 곳이라면 어디든 문제의 형태는 동일합니다. 모델은 유창하고 자신감 넘치는 출력을 생성하지만, 그것은 틀릴 수도 있습니다. 질문은 항상 같습니다. 무엇이 그것을 검증하며, 그 검증을 모델 자체보다 더 신뢰할 수 있는가?

Astra 증명의 교훈은 AI가 이제 수학을 할 수 있다는 것이 아닙니다 (물론 점점 더 그렇게 되어가고는 있지만 말입니다). 교훈은 신뢰를 얻는 시스템이란 결정론적 바닥을 가리키며 다음과 같이 말할 수 있는 시스템이라는 점입니다. "여기에 이 과정이 충족해야 했던 규칙이 있고, 여기에 그것이 수행했다는 증명이 있으며, 당신이 직접 그 증명을 확인할 수 있습니다." 그리고 그 밑에서, 조용히, 그 규칙이 올바른 것이었음을 확인할 수 있는 인간이 존재합니다.

바닥을 구축하십시오. 그리고 그 바닥 아래에는 또 다른 바닥이 있으며, 그것은 기계에게 실제로 무엇을 증명하라고 요청했는지를 이해하는 사람들로 이루어져 있다는 사실을 기억하십시오.

Astra Lean 인증서는 github.com/openai/ten-proofs에서 확인할 수 있으며, Lean 자체는 lean-lang.org에 있습니다. 둘 다 오후 시간을 할애해 살펴볼 가치가 있습니다.

따라서 저희가 여러분께 드리고 싶은 질문은 이것입니다. 여러분의 시스템 중 어디에서 기계가 최종 결정권을 갖게 되며, 어디에서 사람이 기계에게 무엇을 요청했는지조차 여전히 확인해야 합니까? 저희는 그 경계선이 실제로 어디에 위치하는지를 확인하며 한두 번 이상 놀란 적이 있습니다.