AI가 80년 된 난제를 해결한 날

2026-05-26 | 읽기 시간 4분 | #AI #수학 #OpenAI

80년 동안 아무도 답을 내지 못했던 수학적 추측이 AI에 의해 뒤집혔다. 순수 수학의 최난관 영역에 기계가 발을 들인 순간이다.

80년 동안 풀리지 않았던 「색칠 문제」

1946년, 수학자 넬슨(Nelson)이 하나의 질문을 던졌다.

"평면 위의 모든 점을, 거리가 1인 두 점이 같은 색이 되지 않도록 칠하려면 몇 가지 색이 필요한가?"

이것이 **단위 거리 문제 (Unit Distance Problem)**의 출발점이다.

💡

용어 해설

단위 거리 문제 (Unit Distance Problem) — 평면 위에서 「거리가 정확히 1」인 두 점을 같은 색으로 칠해서는 안 될 때, 전체를 색칠하는 데 필요한 최소 색의 수를 묻는 문제. 「채색수 (Chromatic Number)」라고 불린다.

오랫동안 「4색과 7색 사이의 어딘가」로만 알려져 있었다. 2018년에 아마추어 수학자가 하한선을 5색으로 끌어올렸지만, 여전히 상한선과의 사이에는 큰 간극이 있었다.

이 문제는 **이산 기하학 (Discrete Geometry)**의 핵심을 담당하는 추측과 깊이 연결되어 있다.

💡

용어 해설

이산 기하학 (Discrete Geometry) — 연속적인 형태가 아니라 점이나 선분 등 「떨어져 있는」 유한 집합의 기하학적 성질을 연구하는 분야. 그래프 이론 (Graph Theory) 및 조합론 (Combinatorics)과 밀접한 관련이 있다.

수십 명의 일류 수학자들이 도전했으나, 80년 동안 증명도 반증도 하지 못했다. 그 핵심에 있던 「중심 추측」을 OpenAI의 모델이 2025년에 마침내 깨뜨렸다 [1].

AI는 어떻게 증명을 무너뜨렸나

OpenAI가 사용한 것은 복잡한 논리 추론에 특화된 **추론 모델 (Reasoning Model)**이다.

💡

용어 해설

OpenAI의 추론 모델 — o1 시리즈로 대표되는, 답을 내기 전에 「생각하는 시간」을 확보하여 다단계 논리 추론을 수행하는 모델군. 어려운 수학 및 코딩 문제에서 특히 위력을 발휘한다.

수법의 핵심은 「반례 탐색 (Counterexample Search)」에 있다. 추측이 「모든 케이스에서 성립한다」고 주장한다면, 단 하나라도 성립하지 않는 케이스를 찾아내면 반증이 완료된다. 인간 수학자는 「어디에 반례가 있을 것인가」라는 직관에 의존하지만, AI는 방대한 공간을 계통적으로 탐색할 수 있다.

모델은 단위 거리 그래프의 구조를 조합론적으로 분석하여, 기존의 추측에서는 「있을 수 없다」고 여겨졌던 구성이 실제로 존재한다는 것을 발견했다. 증명 검증은 컴퓨터 지원을 통해 이루어졌으며, 수학계의 표준적인 검증 프로세스를 통과했다 [1].

HackerNews에서는 1400점이 넘는 스코어를 기록하며 1000건 이상의 댓글이 오갔다 [2]. 「이것은 진짜 수학적 성과인가」라는 회의론부터 「새로운 시대의 시작이다」라는 흥분까지, 반응은 극명하게 갈렸다.

놀라운 점은 AI가 「천재적인 비약」이 아니라 「철저한 탐색과 검증의 조합」으로 결과를 냈다는 점이다. 직관이 아닌 계산의 스케일이 돌파구를 열었다.

수학자의 역할이 변한다

「AI가 증명했다」라는 표현에는 사실 미묘한 차이가 있다.

이번 성과는 AI가 수학적 정리를 자발적으로 발견한 것이 아니다. 문제를 설정하고, 접근 방식을 방향 지으며, 결과를 해석한 것은 인간이다. AI는 「도구」로서 기능했다. 단, 지금까지의 도구와는 비교할 수 없는 정밀도와 속도로 말이다.

여기서 변하는 것은 수학자의 「업무 입도 (Granularity of work)」다.

지금까지 수학자는 아이디어를 떠올리고, 증명을 쓰고, 세부 사항을 검증하는 모든 과정을 혼자서 해내야 했다. 앞으로는 「어떤 문제를 노릴 것인가」, 「어떤 방향에서 공략할 것인가」와 같은 전략 수립에 집중하고, 방대한 탐색 작업은 AI에 맡기는 스타일이 주류가 될지도 모른다.

실제로 Fields 상 수상자인 Terence Tao를 비롯한 여러 정상급 수학자들이 AI를 연구 도구로 활용하는 시도를 공언하고 있다. 「적인가 아군인가」가 아니라 「어떻게 다룰 것인가」로 논의의 축이 이동하기 시작했다.

다음에 노려질 영역은 무엇인가

이번 성과가 보여주는 것은 AI의 「범용성 증명」이다.

코드를 작성하고, 문장을 만들고, 이미지를 생성하는 — 그러한 AI의 능력은 이미 알려져 있었다. 하지만 순수 수학의 난제를 반증하는 것은 차원이 다르다. 「창조적인 논리적 사고」의 영역에 AI가 확실히 발을 들여놓았다.

다음에 주목받을 영역으로는 리만 가설 (Riemann Hypothesis) 주변의 문제군, 그래프 이론의 미해결 추측, 그리고 암호 수학의 기반이 되는 정수론 (Number Theory) 등이 꼽힌다. 이들은 모두 「만약 해결된다면 사회 인프라와 직결되는」 임팩트를 가지고 있다.

차세대 추론 모델군은 성능 향상이 계속되고 있으며 [3], 이번 사례는 어디까지나 「시작을 알리는 첫걸음」일지도 모른다.

🛠️ 엔지니어를 위한 실전 Tips

• 추론 모델을 난제 탐색에 사용하기— o3/o4 계열 모델은 「반례 탐색 (Counterexample Search)」 태스크에 특히 강하다. 수학적 제약 조건(Mathematical constraints)을 프롬프트(Prompt)에 명시하면 정밀도가 향상된다. -
  증명 검증에 LLM을 통합하기— 인간이 작성한 증명의 논리적 간극을 AI가 체크하는 「AI 심사 (AI Peer Review)」 워크플로우가 연구 현장에서 확산되고 있다. -
  문제를 「탐색 문제 (Search Problem)」로 변환하기— 미해결 문제를 AI에게 전달할 때, 「증명해줘」라고 하기보다 「반례를 찾아줘」라고 지시하는 것이 성과를 내기 더 쉽다.

📚 참고 문헌

• An OpenAI model has disproved a central conjecture in discrete geometry — OpenAI 공식 블로그를 통한 발표
• HackerNews: An OpenAI model has disproved a central conjecture in discrete geometry — HN 스코어 1425, 댓글 1052건의 반향
• Claude Opus 4.8 Leaked, GPT 5.6 Spotted, Mythos 1 Preview — 차세대 AI 모델 동향의 개관

수집 소스: OpenAI Blog, Hacker News, YouTube

2026-05-26

마치며

솔직히 말하면, 이 글을 쓰면서 몇 번이나 손이 멈췄다. 80년이라는 시간의 길이에 상상이 따라가지 못했기 때문이다. 태어난 해부터 지금까지 풀리지 않았던 질문이 기계의 「탐색 (Search)」에 의해 무너진다——그것이 수학의 역사에 무엇을 의미할 것인가를 계속해서 생각했다.

「AI가 수학을 푼다」는 사실보다, 「인간이 AI와 함께 수학을 앞으로 나아가게 한다」는 미래가 훨씬 더 풍요롭고 흥미롭다고 생각한다. 다음에 어떤 질문이 무너질지, 순수하게 기대된다.

Discussion