AI가 80년의 벽을 허문 날

2025-05-24 | 읽기 시간 4분 | #AI #수학 #OpenAI

「AI는 계산은 할 수 있어도, 증명은 할 수 없다」—— 그렇게 믿어왔다. 그런데 이번 달, OpenAI의 모델이 80년 동안 아무도 풀지 못했던 기하학의 대예측을 부정했다. 수학의 역사가 조용히 다시 쓰여진 순간이다.

80년 동안 아무도 답을 내지 못했던 문제

1946년, 수학자 폴 에르되시(Paul Erdős)가 하나의 질문을 던졌다.

「평면 위에 n개의 점을 놓을 때, 거리가 정확히 1인 점의 쌍은 최대 몇 개까지 만들 수 있는가?」

이것이 바로 unit distance problem (단위 거리 문제) 이다 [1].

💡

용어 해설

unit distance problem (단위 거리 문제)— 평면 위에 n개의 점을 배열했을 때, 「거리가 정확히 1」이 되는 점의 쌍을 최대 몇 개까지 만들 수 있는가에 대한 문제. 단순해 보이지만, 80년 동안 미해결 상태였던 이산 기하학 (Discrete Geometry)의 핵심적인 예측.

오랜 연구를 통해 「최대 $n^{1+c/\log \log n}$ 개 정도가 상한일 것이다」라는 예측이 정설로 받아들여져 왔다. 수학자들은 수십 년에 걸쳐 이 상한에 다가가려 노력했지만, 아무도 예측을 뒤집지는 못했다.

💡

용어 해설

이산 기하학 (Discrete Geometry)— 점, 선, 다각형 등 「떨어져 있는 (이산적인)」 대상의 기하학적 성질을 연구하는 수학 분야. 연속적인 곡선이 아니라, 유한한 개수의 점의 배치에 주목한다.

왜 어려운가. 점의 수가 늘어나면 배치의 패턴이 폭발적으로 증가하여, 인간이 수작업으로 모든 패턴을 탐색하는 것은 사실상 불가능하기 때문이다. 직관과 엄밀한 증명 사이에 거대한 간극이 존재한다.

AI는 어떻게 「부정」했는가

OpenAI의 모델이 보여준 것은 단순한 계산력이 아니었다 [1].

AI는 기존의 예측이 「성립하지 않음」을 보여주는 반례 (counterexample) 를 발견했다. 즉, 「이 점의 배치라면 예측의 상한을 초과하는 거리 1의 쌍을 만들 수 있다」라는 구체적인 구성을 제시한 것이다.

이것은 중요한 지점이다. 「증명하지 못했다」가 아니라, 「예측이 틀렸다」는 것을 보여주었다. 80년 동안의 정설이 뒤집힌 것이다.

접근 방식은 「기계적인 전수 조사 (Brute-force)」와는 다르다. AI는 수학적 구조의 대칭성·규칙성에 주목하며 탐색 공간을 좁혀 나갔고, 인간 수학자들이 놓치고 있었던 배치 패턴에 도달했다.

💡

용어 해설

수학적 예측 (Mathematical Conjecture)— 「아마도 옳을 것이다」라고 생각되지만, 아직 엄밀하게 증명되거나 반증되지 않은 명제. 증명되면 「정리 (Theorem)」가 되고, 반례가 발견되면 「부정 (Disproof)」이 된다.

연구 팀은 이 성과를 Hacker News에 공개하였고, 스코어 1,400점 돌파, 댓글 1,000건 이상이라는 이례적인 반향을 얻었다. 수학 커뮤니티뿐만 아니라 AI 연구자 및 엔지니어 모두가 충격을 받은 것이다.

「증명」의 의미가 변한다

여기서 커다란 질문이 생겨난다.

「AI가 내놓은 답을 수학이라고 부를 수 있는가?」

기존의 수학적 증명은 인간이 한 줄 한 줄의 논리를 따라가며 이해하고 검증할 수 있음을 전제로 한다. 하지만 AI가 발견한 반례의 구조가 너무 복잡하여 인간이 직관적으로 파악할 수 없다면—— 그것을 「증명」으로서 받아들일 수 있는가.

사실 이것은 이번이 처음 제기된 질문이 아니다. 1976년의 「사색 정리 (Four Color Theorem)」는 컴퓨터가 방대한 케이스를 계산하여 증명한 역사가 있다. 당시에도 「기계의 증명은 진정한 수학인가」라는 논쟁이 일었다. 그로부터 50년이 지난 지금, 이번에는 AI가 같은 질문을 더욱 깊게 던지고 있다.

검증 가능성 (누구나 결과를 재현·확인할 수 있는 것)과 재현성은 수학의 근간이다. AI의 출력은 원리적으로 검증 가능하지만, 「왜 그 구성이 성립하는가」라는 인간의 직관적 이해는 따라가지 못한다. 수학이 「이해의 행위」인 한, 이 갈등은 계속될 것이다.

다음 80년 동안 수학자는 무엇을 하는가

이번 성과가 보여주는 가능성은 unit distance problem의 해결에만 머물지 않는다.

에르데시가 남긴 미해결 문제는 이 외에도 다수 존재한다. 이산 기하학, 그래프 이론, 조합론 분야에서는 「아마도 옳을 것이다」라고 여겨지면서도 증명도 부정도 되지 않은 예측들이 산더미처럼 쌓여 있다.

AI는 이에 대해 「인간이 생각하지 못한 반례를 찾는」 역할을 맡을 수 있을지도 모른다. 인간 수학자의 역할은 「질문을 던지고, AI의 발견을 해석하며, 새로운 이론으로 승화시키는 것」으로 이동할 것이다.

수학은 변하는 것이 아니라, 층이 쌓이는 것이라고 생각한다. 인간의 직관과 AI의 탐색력이 결합됨으로써, 지금까지 손이 닿지 않았던 높은 곳으로 올라갈 수 있는 시대가 왔다.

🛠️ 엔지니어를 위한 실전 팁

• 반례 탐색은 AI의 특기 — 「예상이 맞는지」가 아니라 「반례가 없는지」를 묻는 설계로 전환하면, AI의 탐색 능력을 최대한으로 끌어낼 수 있다.
• 검증 가능한 출력을 요구하라 — AI가 증명이나 구성을 반환할 때, 인간이 추적할 수 있는 형식(Lean, Coq 등 형식 증명 도구)으로 출력하게 하면 신뢰성이 높아진다.
• 기존의 미해결 문제 리스트를 활용하라 — Erdős Problems (erdosproblems.com)는 AI에게 던져야 할 질문의 보물창고다.

📚 참고 문헌

• An OpenAI model has disproved a central conjecture in discrete geometry — OpenAI 공식 블로그. 이번 성과의 1차 소스

수집 소스: OpenAI Blog, Hacker News

2025-05-24

마치며

「AI가 할 수 있는 일은 도구적인 작업까지」라고, 어딘가에서 생각하고 있던 내가 있었다. 이번 발견을 조사할수록, 그 전제가 무너져 내리는 것을 느낀다. 80년 동안 수백 명의 우수한 수학자들이 도전했던 질문에, AI가 다른 각도에서 빛을 비추었다——그 사실은 단순하게, 대단하다고 생각한다. 동시에, 「이해 없는 증명」이 쌓여갈 때, 수학이라는 행위가 무엇을 의미하는지 조금 더 계속해서 고민해보고 싶다는 마음이 들었다. 이것을 읽은 수학자분들은 AI를 어떻게 느끼고 계실지, 순수하게 궁금해진다.

Discussion