Terence Tao와 'Big Mathematics': 정리(Theorem)를 증명하는 AI

인공지능 (AI)은 이제 단순히 코드를 작성하는 것에 그치지 않습니다. 이제는 정리를 증명하고, 올림피아드 문제를 해결하며, 과거에 인간의 노동으로 수년이 걸렸던 증명들을 검증합니다. 수학 분야의 AI는 실험실의 호기심 수준을 넘어, 세계 최고의 수학자 중 일부가 사용하는 실제 연구 도구로 자리 잡았습니다.

2026년 6월 25일에 발행된 _IEEE Spectrum_의 보고서는 이 현상이 당사자들 사이에서 불러일으키는 논쟁을 다룹니다. 만약 기계가 증명을 찾아낼 수 있다면, 오늘날 수학자가 된다는 것은 무엇을 의미할까요?

TL;DR

IEEE Spectrum은 2026년 6월 25일, AI 시대의 수학자의 역할에 관한 Benjamin Skuse의 보고서를 발행했습니다.
Terence Tao (UCLA)는 인간과 기계가 복잡한 문제에서 협력하는 Big Mathematics 시대를 제시합니다.
DeepMind의 AlphaProof와 AlphaGeometry2는 2024년 국제수학올림피아드 (IMO)에서 42개 문제 중 28점을 획득하며 은메달 수준에 도달했습니다.
증명 보조 도구인 Lean과 그 라이브러리인 Mathlib은 100만 줄 이상의 형식화(Formalized) 및 검증된 수학 코드를 넘어섰습니다.
Tao와 협력자들은 2023년 말, 약 3주 만에 PFR 추측을 Lean에서 형식화했습니다.
FrontierMath 벤치마크에서 가장 뛰어난 모델들도 2024년 출시 당시 문제의 2% 미만을 해결했습니다.
근본적인 논쟁은 기술적인 것이 아니라 인간적인 것입니다: 증명을 이해하는 것의 동기, 의미, 그리고 아름다움에 관한 것입니다.

무슨 일이 일어났는가: 수학 분야의 AI가 다시 여는 오래된 질문

응용 수학 전공자이자 대중 과학 저술가인 Benjamin Skuse가 작성한 _IEEE Spectrum_의 보도는 새로운 기록이나 갑작스럽게 해결된 정리를 발표하는 것이 아닙니다. 대신, 그보다 덜 눈에 띄지만 더 심오한 일을 수행합니다. 바로 업무의 일부가 자동화될 수 있게 된 지금, 현직 수학자들이 무엇을 느끼는지 질문하는 것입니다. 이 기사는 수학계에 공존하는 두 가지 시각을 대조합니다. 한편에는 **수학 분야의 AI (AI in mathematics)**를 능력의 증폭기로 보는 낙관론이 있습니다. 다른 한편에는 이 직업이 가진 가치를 잃게 될까 봐 우려하는 신중론이 있습니다.

중심 인물은 UCLA의 수학자이자 필즈상(Fields Medal) 수상자인 Terence Tao로, 아마도 현존하는 가장 영향력 있는 수학자일 것입니다. Tao는 big science (거대 과학)에 비유하여 Big Mathematics (대규모 수학) 시대의 도래를 설명합니다. 이는 인간과 기계가 협력하여, 과거에는 수십 년 동안 전체 공동체가 매달려야 했던 문제들을 함께 공략하는 대규모 협업을 의미합니다. 그의 비전 속에서 기계는 수학자를 문제로부터 몰아내는 것이 아니라, 수학자가 아이디어, 추측(conjecture), 그리고 전략에 집중할 수 있도록 기계적인 부분으로부터 그들을 해방시킵니다.

이러한 열정 앞에서, 보도는 Carnegie Mellon 대학교의 수학자이자 논리학자인 Jeremy Avigad의 더 내밀한 성찰에 공간을 할애합니다. Avigad는 수학의 원동력이 단순히 해결하는 것이 아니라, 바로 _이해하는 것_이었다는 점을 상기시킵니다. "때로는 이해라는 것이 매우 아름다운 무언가로서 당신을 강타합니다."라고 그는 말합니다. "때로는 마라톤을 완주했을 때와 같은 성취감일 수도 있습니다. 하지만 정확히 그 둘 중 어느 것도 아닙니다. 복잡하고 어려운 무언가를 오랫동안 고민하다가, 갑자기 모든 것이 딱 맞아떨어질 때의 경이로운 기분입니다." 이 문장은 기사의 긴장감을 요약합니다. 만약 AI가 그 과정(journey) 없이 결과만을 전달한다면, 그 의미 또한 상실되는 것일까요?

결과로서만이 아닌, 인간의 과정으로서의 증명.

맥락과 역사: 사색 색칠 문제에서 Lean까지

정리를 증명하는 데 도움을 주는 기계라는 아이디어는 새로운 것이 아닙니다. 1976년, _4색 정리 (four color theorem)_는 컴퓨터의 필수적인 도움을 받아 증명된 첫 번째 거대한 결과물이 되었으며, 컴퓨터는 수작업으로는 검토가 불가능한 수백 개의 사례를 검증했습니다. 이는 오늘날까지도 울림을 주는 철학적 논쟁을 불러일으켰습니다. 만약 어떤 인간도 그 전체를 읽을 수 없다면, 그것을 "진정한" 증명이라고 할 수 있을까요? 수십 년 후, Flyspeck 프로젝트는 구(sphere)의 쌓기(packing)에 관한 케플러 추측 (Kepler conjecture)의 증명을 완전히 형식화(formalize)하였고, 많은 이들이 수용하기를 주저했던 결과를 기계적 검증을 통해 확정 지었습니다.

최근 몇 년 사이 변화한 점은 **증명 보조 도구 (proof assistants)**의 성숙과 언어 모델 (language models)의 등장입니다. Lean과 같은 증명 보조 도구는 본질적으로 수학적 논증의 각 단계가 시스템에 의해 엄격하게 검증되는 코드로 작성되는 프로그래밍 언어입니다. 만약 증명에 빈틈이 있다면, 프로그램은 컴파일되지 않습니다. Lean 위에는 _Mathlib_가 구축되었으며, 이는 기초 산술부터 함수 해석학 (functional analysis) 및 범주론 (category theory)에 이르기까지 이미 100만 줄 이상의 형식화된 수학을 포함하는 협업 라이브러리입니다.

여기에 생성형 AI (generative AI)가 등장합니다. 현대의 모델들은 자연어로 된 증명 초안을 제안하고, 이를 Lean으로 번역하며, 검증기가 지적하는 오류를 인간보다 훨씬 빠른 시행착오 사이클을 통해 수정할 수 있습니다. 수학에서의 AI는 형식 검증기 (formal verifier)를 대체하는 것이 아니라, 이를 보조합니다. 기계가 추측하고 초안을 작성하면, Lean이 그것이 맞는지 판별합니다.

📌 참고: 증명 보조 도구는 AI를 "신뢰"하지 않습니다. 모델이 설득력 있지만 틀린 증명을 생성하더라도, 단 하나의 단계라도 성립하지 않는다면 Lean은 이를 거부합니다. 이것이 바로 핵심적인 보증 장치입니다.

데이터와 수치: 기계가 이미 해결하고 있는 것들

숫자들은 그 도약의 규모를 가늠하는 데 도움을 줍니다. 2024년 7월, Google DeepMind의 AlphaProof와 AlphaGeometry2 시스템은 국제 수학 올림피아드(IMO)의 6개 문제 중 4개를 해결하여 42점 만점에 28점을 획득했습니다. 이는 금메달과 단 1점 차이인 은메달 수준의 성적이었습니다. AI가 세계에서 가장 까다로운 대학 진학 전 수학 경시 대회에서 이 정도의 성능을 달성한 것은 이번이 처음이었습니다. AlphaProof는 정확히 문제를 Lean으로 정식화(formalizing)하고 검증 가능한 증명을 찾는 방식으로 작동했습니다.

연구 분야에서는 Tao 본인이 2023년 말, 종이 위에서 막 증명된 _Freiman-Ruzsa 다항식 추측 (PFR)_을 Lean으로 정식화하는 작업을 이끌었습니다. 과거라면 몇 달이 걸렸을 작업이 조정된 커뮤니티를 통해 약 3주 만에 완료되었습니다. 이는 보조를 받는 정식화(formalization assisted)가 더 이상 이론적인 수준이 아니라 이미 실용적인 단계에 도달했음을 보여주는 증거였습니다.

동시에 한계 또한 명확합니다. 2024년 말 Epoch AI가 연구 수준의 독창적인 문제들로 선보인 벤치마크 FrontierMath에 따르면, 당시 최고의 모델들은 문제의 2% 미만만을 해결했습니다. 정말로 중요한 최첨단 수학(frontier mathematics)은 여전히 AI의 자율적인 범위를 대부분 벗어나 있습니다.

인간의 추측에서 Lean을 통한 형식적 검증(formal verification)으로.

영향 및 분석: 대체인가, 부조종사(Copilot)인가?

왜 수학 분야의 AI가 Tao와 같은 연구자들을 열광시키는지 이해하려면 형식적 증명(formal proof)이 어떻게 생겼는지 살펴볼 필요가 있습니다. 아주 기초적인 예로, 자연수의 합이 교환 법칙이 성립함을 증명한다고 가정해 봅시다. Lean 4에서는 다음과 같이 작성되며, 시스템은 각 단계를 검증합니다:

-- Lean 4: 합의 교환 법칙에 대한 형식적 증명
theorem suma_conmutativa (a b : Nat) : a + b = b + a := by
  induction b with
...

각 줄은 기계가 오차 없이 검증하는 논리적 단계입니다. 이제 수천 개의 정리가 사슬처럼 연결된 모습을 상상해 보십시오. 그것이 바로 Mathlib입니다. 그리고 AI는 코드 코파일럿 (Copilot)이 다음 줄을 제안하는 것과 마찬가지로, 이 코퍼스 (Corpus)로부터 학습하여 다음 단계를 제안할 수 있습니다. 이 워크플로우 (Workflow)는 점점 더 소프트웨어 개발과 닮아가고 있습니다.

graph LR
  A["수학자: 추측"]
 --> B["AI: 증명 생성"]
  B --> C["Lean: 단계별 검증"]
...

LATAM(라틴 아메리카)의 개발자에게 이 비유는 매우 직관적입니다. 수학에서의 AI는 테스트 러너 (Test runner)와 자동 완성 어시스턴트 (Autocomplete assistant)가 결합된 형태로 작동합니다. 인간이 무엇을 증명할지 정의하면 (명세 (Specification)), AI가 구현 (Implementation)을 제안하고 (증명 (Demonstration)), 검증기 (Verifier)는 지름길을 허용하지 않는 테스트 스위트 (Test suite) 역할을 합니다. TDD (테스트 주도 개발)로 프로그래밍하는 사람이라면 이 패턴을 즉시 알아볼 것입니다.

💭 핵심: Avigad의 두려움은 AI가 틀리는 것이 아니라, 너무 잘 맞히는 것입니다. 만약 기계가 노력 없이 결과를 내놓는다면, 수학자를 형성하는 학습 과정이 사라지게 됩니다. 이는 오늘날 소프트웨어 개발이 코드 어시스턴트와 직면한 논쟁과 동일합니다.

이러한 평행 이론은 우연이 아닙니다. 이 리포트 자체는 기술 산업이 이미 알고 있는 논의와 연결됩니다. 도구가 어려운 부분을 해결해 줄 때, 초보자들은 시행착오를 겪고, 분투하며, 배울 기회를 잃게 됩니다. 프로그래밍에서는 AI 어시스턴트가 코드에 대한 깊은 이해를 저해하는지에 대해 논쟁하며, 수학에서는 새로운 세대가 문제에 막혀 수년간 씨름하며 얻게 되는 직관을 발전시킬 수 있을지에 대해 질문을 던집니다.

다음 단계: "Big Mathematics"의 시대

Tao가 그리는 시나리오는 대규모 협업을 향하고 있습니다. 증명 보조 도구(proof assistants)를 통해 수천 명의 수학자들이 시스템이 일관성(consistency)을 보장하므로 오류가 끼어들 걱정 없이 동일한 형식적 증명(formal proof)에 대해 작업할 수 있습니다. AI는 접착제 역할을 합니다. 일상적인 단계를 채우고, 비형식적 언어(informal language)와 형식적 언어(formal language) 사이를 번역하며, 반례(counterexamples)를 찾습니다. 그 결과, 오늘날에는 관리 불가능할 규모의 협업 프로젝트가 가능해지며 전례 없는 발견의 속도를 가져올 수 있습니다.

스페인어권 커뮤니티에게 이는 구체적인 문을 열어줍니다. Lean을 배우는 것은 더 이상 고립된 학술적 연습이 아닙니다. 이는 수학, 형식 검증(formal verification), 그리고 안전한 소프트웨어 개발 사이를 잇는 가교 역할을 하는 기술이며, LATAM(라틴 아메리카)이 풍부한 재능을 보유하고 있음에도 표현이 부족한 분야입니다. 정리(theorem)를 검증하는 것과 동일한 형식 검증 기술이 마이크로커널(microkernel), 스마트 컨트랙트(smart contract), 또는 암호화 프로토콜(cryptographic protocol)에 결함이 없는지 인증하는 데 사용됩니다.

💡 팁: 직접 경험해보고 싶다면 Lean 4는 무료이며 오픈 소스(open source)입니다. 아무것도 설치할 필요 없이, 마치 비디오 게임처럼 정리를 증명하는 법을 가르쳐주는 대화형 튜토리얼인 _Natural Number Game_부터 시작해 보세요.

두 입장 모두 부정하지 않는 사실은 직업의 형태가 변할 것이라는 점입니다. _IEEE Spectrum_이 제기하는 진짜 논의는 수학 분야에서 AI가 유용할 것인가(이미 그러합니다)가 아니라, 업무의 어떤 부분이 여전히 수동으로 수행하는 의미를 가질 것인가 하는 점입니다. 그리고 역설적이게도, 그 질문은 기계가 우리 대신 답할 수 없는 몇 안 되는 질문 중 하나입니다.

📖 Telegram 요약: 요약 보기

자주 묻는 질문 (FAQ)

AI가 이미 스스로 정리를 증명할 수 있나요?

부분적으로 가능합니다. AlphaProof와 같은 시스템은 은메달 수준의 올림피아드 문제를 해결하며, AI는 실제 증명을 Lean에서 형식화(formalize)하는 것을 돕습니다. 하지만 최첨단 수학(frontier mathematics) 분야에서 최고의 모델들은 2024년 기준 FrontierMath 벤치마크의 2% 미만을 해결했습니다. 오늘날 AI는 강력한 보조 도구이지, 자율적인 대체재는 아닙니다.

Lean과 같은 증명 보조 도구(Proof Assistant)란 무엇인가?

수학적 증명의 각 단계를 시스템이 절대적인 엄밀함으로 검증할 수 있는 코드로 작성하는 프로그래밍 언어입니다. 만약 어떤 단계가 논리적으로 성립하지 않는다면, 컴파일(compile)되지 않습니다. 이는 설령 AI가 작성했을지라도 Lean에 의해 수락된 증명은 논리적으로 정확함을 보장합니다.

Terence Tao가 말하는 "Big Mathematics"란 무엇을 의미하는가?

이는 _big science_에 비유되는 대규모 수학의 비전으로, 인간과 기계 사이의 거대한 협업을 통해 복잡한 문제에 도전하는 것을 의미합니다. AI와 증명 보조 도구는 많은 수학자가 오류를 쌓지 않고 동일한 증명에 대해 협업할 수 있도록 조율해 줍니다.

왜 일부 수학자들은 우려하고 있는가?

그 이유는 이 직업의 가치가 단순히 결과에만 있었던 것이 아니라, 과정에서 생겨나는 이해에 있었기 때문입니다. Jeremy Avigad는 만약 기계가 노력 없이 정답을 내놓게 된다면, 새로운 세대가 수년간 문제와 씨름하며 길러낼 수 있는 직관과 감각을 잃어버릴까 봐 우려하고 있습니다.

수학자가 아닌 개발자에게도 Lean을 배우는 것이 도움이 되는가?

네, 그렇습니다. Lean의 형식 검증 (Formal Verification) 기술은 커널 (kernel), 스마트 계약 (smart contracts), 암호화 프로토콜 (cryptographic protocols)과 같은 핵심 소프트웨어에 적용됩니다. Lean을 배우는 것은 수학, 논리, 그리고 안전한 개발 (secure development)을 연결하며, 이는 LATAM(라틴 아메리카) 지역에서 수요는 높지만 희소한 프로필입니다.