성과나 증명 자체와는 별개로, 최신 모델에서도 프롬프트의 상당 부분이 사실상 모델에게 진짜로 문제를 풀라고 지시하는 데 쓰인다는 점이 흥미로움
“상태 보고, 막연한 낙관, 증명되지 않은 전역 호환성 명제가 ‘일상적’이라는 주장 거부” 같은 문구가 그렇고, 전략을 많이 먹여 주는 부분도 눈에 띔
이런 전략은 결국 모델이 스스로 추론해야 할 것처럼 느껴지며, 결과를 깎아내리려는 건 아니고 GPT-4에 “단계별로 생각해”라고 프롬프트하던 초기 사고 연쇄 방식이 떠오름

이건 모델들이 보통 받는 후훈련과 관련이 큰 것 같음
기본 질문에는 짧고 직선적인 요약 답변을 하도록 설계되어 있어서 깊게 추론할 능력은 있지만, 프롬프트 없이는 그쪽으로 기울지 않음
2026년의 대형 언어 모델은 매우 유능하면서도 일종의 응접실 마술 같고, 의식이 있는 게 아니라 맥락을 세팅해 주면 내리막길을 굴러가는 기계에 가까움
올바른 입력이 있으면 진짜 새로운 답에 도달할 수 있지만, 의지가 없고 인간의 안내에 의존한다는 점에서 경이롭고 동시에 기계임

대형 언어 모델에는 기본적인 추론과 엄청난 암기가 있음
그 기본 추론과 가지치기된 탐색, 그리고 막대한 연산량을 결합하면 많은 것을 증명할 수 있지만, 인간이 실패해 온 기억이 가능성을 미리 잘라 버림
그래서 이전 인간 실패를 근거로 너무 일찍 가지치기하지 말라고 모델을 설득하는 노력이 필요함

P=NP를 물어봤을 때도 정확히 같은 현상을 봐서 웃겼음
모델들이 너무 어렵다며 시도 자체를 노골적으로 거부했고, 유망한 접근이라도 제안하게 만들려면 꽤 싸워야 했음

수학 연구용으로 특별히 조정된 모델도 필요할지 모름, “gpt-5.3-codex” 같은 식으로
“gpt-5.6-mathx”를 기대하게 됨

나도 그렇게 봤고, 프롬프트가 메타휴리스틱으로 가득함
몇 년 전 프롬프트 엔지니어링이 기술이라고 하던 시절이 떠올랐음
추측하자면 모델이 이것을 스스로 못 한 이유는, 대부분의 문제에서는 이런 조언 상당수가 나쁜 조언이기 때문임
탐색 최적화에서는 보통 시간과 품질을 맞바꾸는데, 매우 넓은 탐색은 오래도록 형편없는 결과를 반환하고, 휴리스틱을 곁들인 깊이 지향 탐색은 빠르게 꽤 좋은 결과를 내는 경향이 있음
모델은 대부분의 경우 최선인 중간 지점을 자연스럽게 찾으려 할 텐데, 적당한 시도로는 부족한 매우 어려운 문제에서는 시간 제약이 없는 훨씬 넓은 탐색이 필요함
프롬프트의 상당 부분도 탐색을 넓히고, 조기 수렴을 막고, 시간 압박을 제거하는 방향으로 보였음

AI 에이전트로 자동화하기 쉬운 작업의 기준은 꽤 단단하게 정리하면 이렇다고 봄: 해답의 정확성을 쉽게 명시하고 검증할 수 있는 정도, 새로운 후보 해답을 텍스트로 구현할 수 있는 정도, 온라인에 선행 연구가 존재하는 정도
이건 기본적으로 소프트웨어 공학과 수학에 대응됨
AI 과장의 꽤 많은 부분은 AI 설계자들 자신의 일이 AI로 가장 쉽게 자동화되는 직업이라는 데서 온다고 봄
“내 일이 AI로 이만큼 향상된다면 모든 직업도 같겠지”라고 생각하지만, 아이러니하게도 현실은 정반대에 가깝고 광범위한 노동 소멸 예측도 마찬가지임

흥미로운 관점이지만, 그중 2개는 다소 과장된 것 같음
대부분의 소프트웨어는 수학 문제나 수학 문제 묶음을 푸는 것과 다르다고 봄
알고리즘 문제는 답이 맞는지 틀린지 검증하는 오라클이 미리 있는 좁은 영역이라 여기에 더 가까울 수 있음
대부분의 소프트웨어에서 정확성 함수는 사용자가 얼마나 쓰고 돈을 내고 싶어 하는가인데, 이건 꽤 흐릿한 문제임
소프트웨어는 복제 비용이 사실상 0이라서 시스템들이 정확히 서로 같아지기보다 고유해지고, 다른 시스템으로 수렴하기보다 갈라지는 경향도 있음
선행 연구 부분도 흥미로움
적어도 애플리케이션 전체로 보면, 의미 있는 규모의 비자명한 소프트웨어가 담는 문제와 절충 대부분에는 실제로 선행 연구가 없음
할 일 목록 앱이나 소셜 네트워크 만들기 프로젝트라면 대형 언어 모델 시스템이 만들기에 충분한 선행 사례가 많겠지만, 대부분의 앱은 그렇지 않을 가능성이 큼

AI가 소프트웨어와 수학에만 능하다고 가정해 보자
AI로 좋은 소프트웨어를 싸게 많이 만들 수 있다면, 그 소프트웨어가 많은 일자리를 자동화할 수 있음
그러니 AI가 일자리를 직접 가져갈 필요는 없고, AI가 작성한 소프트웨어가 가져갈 수 있음
특히 로봇용 소프트웨어에서도 그게 가능해지면 더 그렇다

여기서 “현실은 정반대이고, 광범위한 노동 소멸 예측도 마찬가지”라는 말이 무슨 뜻인지 설명해 줄 수 있나?
검증 가능한 작업이라는 한 묶음, 즉 프로그래밍·수학 등은 AI가 분명히 잘하게 될 것 같음
법률, 회계, 재무 분석 같은 또 다른 큰 묶음도 AI가 초인적 수준이 되지 못할 이유를 모르겠고, 다만 도메인 전문성을 하네스와 소프트웨어 안으로 끌어오는 일이 더 필요해 보임
장기적으로 AI가 잘하지 못할 지식 노동의 측면이 있다고 보는 건가?

많은 화이트칼라 직무는 검증 가능함
로봇을 만들면 현실 세계의 작업도 갑자기 검증 가능해짐

Dwarkesh에 따르면 훈련에서의 반복 가능성도 중요함

단위 거리 문제와 달리 여기서 인상적인 건 반례가 아니라 증명이라는 점임
다만 증명이 극도로 간결해서, 모든 전문가가 놓친 영리한 트릭을 활용한 것처럼 보임
이 놀라운 결과를 깎아내리거나 골대를 옮기려는 건 아니지만, 이제 AI가 수학에서 아직 해내지 못한 유일한 성취는 열린 추측에 대한 자율적인 “이론 구축형” 증명처럼 보임
즉 열린 문제를 깨기 위해 적어도 30쪽 이상 전개될 만한 실질적인 새 이론을 만들어야 하는 증명임

정말 간결하고, 말한 그대로 이미 발견된 성질들을 활용해 새로운 방식으로 결합한 것처럼 읽힘
문체가 참 마음에 듦
예전 논문처럼 읽히는데, 정리와 증명이 딱 말한 대로 곧장 전개되는 그런 논문들임

Grant Sanderson이 최근 Dwarkesh 팟캐스트에서 문법을 만드는 수학자와 그것을 조작하는 수학자를 구분했음
어떤 자리에서는 온톨로지라는 말을 쓸지도 모르는데, 이 구분이 꽤 마음에 들었음
우리는 지금 문법 조작 단계에 있는 것 같음
유용한 온톨로지를 만드는 것은 아직 좀 멀어 보임
이 멋진 결과에 불평하려는 건 아니고, 앞으로의 골대가 어디 놓일지 생각해 보는 것임

“그러나”라고 할 이유가 있나?
내 해석으로는 정말 새로운 해법을 찾았고, 그것이 우아하면서도 이전에 놓친 해법임
인간 수학자가 열망할 만한 결과가 정확히 이런 것 같음

웃자고 ChatGPT 5.5에게 이 문제의 중요성과 5.6이 세 쪽짜리 해법으로 풀 가능성을 물어봤더니, 거의 0이라고 답했음
인터넷 검색도 시켜 봤지만 여전히 극도로 회의적이었음

“반환하거나 포기할 생각을 하기 전에 최소 8시간을 써라”
현재 모델 하네스에는 소요 시간 개념이 있나?
하위 프로세스가 너무 오래 걸리거나 멈추면 모델이 알아차리고 죽이는 경우는 가끔 봤지만, 스스로 시간을 재는 건 본 적이 없음

“1시간이 조금 안 걸려”
그래도 생존자 편향이 어느 정도인지 궁금함
실패한 다른 문제는 얼마나 많았나?
이 문제도 다른 프롬프트로 풀려다 실패한 적이 있나?
그래도 매우 인상적임

프롬프트가 공개된 건 정말 멋짐
새 프런티어 모델이 나올 때마다 얼마나 많은 미해결 문제가 시도되는지 궁금함
모든 릴리스마다 모든 문제를 시도하고 있나?
해결 성공률은 어느 정도인가?
수학 안에 이런 노력을 조율하는 하위 커뮤니티가 있나?
아직 캐내지 못한 기회가 얼마나 남아 있을까?

전체 출력이 공개되지 않은 점이 좀 흥미로움
수학 글쓰기에 대한 흔한 비판 중 하나가 결과가 “모자에서 뽑아낸 것처럼” 보인다는 것임
세련된 최종 증명만 쓰고, 그것을 개발하는 데 들어간 모든 것은 숨김
대형 언어 모델이 증명을 썼을 때도 그 관행이 이어진다는 게 아이러니함

프롬프트는 공개됐지만, 결과를 얻는 데 든 비용은 공개되지 않았음

이미 리만 가설에는 추론 비용으로 수백만 달러가 투입됐을 거라고 거의 확신함
모델이 강해질수록 더 큰 돈이 투입될 것임
“고작 10억 달러”를 내고 역사상 가장 어렵고 유명한 수학 미해결 문제를 푼 회사로 남는다고 상상해 보라
전 세계 언론 헤드라인도 상상됨
흔히 말하듯 리만 가설은 백만 달러를 버는 가장 어려운 방법임

모든 검증이 통과된다면 이건 거대한 이정표임
AI가 이제 기성 모델을 써서, 1시간 만에 그래프 이론에서 가장 유명한 미해결 문제 중 하나를 풀었음
이 시점에서는 대부분의 인간보다 더 나은 수학자일지도 모름
체스 소프트웨어가 그랜드마스터를 제외한 모두를 이기기 시작하던 때와 비슷함
이제 무엇이 남았나?
완전히 새로운 이론과 틀을 제안하고 구축하는 것?
그다음에는 어떤 인간보다도 나아지는 것?
그다음에는 우리가 이해하기 힘든 외계적인 수학 결과인가?

허무하다는 생각을 안 하기가 어려움
나는 지능 면에서 아주 평균적이고, 어쩌면 평균 이하인 사람임
내가 할 수 있는 건 무엇이든 대형 언어 모델이 더 잘할 수 있다는 걸 안다면, 내 가치나 존재 이유가 뭔가?
노동시장에서도 인간으로서도 내 가치는 무엇인가?

남는 건 인간이 새 추측을 제안하고, 기계가 증명을 채워 넣는 일일 것 같음
다만 새 경력을 만들 만큼 흥미로운 추측이 충분히 많을지는 모르겠음

그런 것들을 아주 가까운 다음 단계처럼 말하지만, 실제로는 그렇게 흘러가지 않을 수도 있음
예를 들어 AI는 지난 몇 년 동안 예술이나 글쓰기에서 전문가를 넘어서는 데 아무 진전도 못 했음
프롬프트를 따르는 능력은 훨씬 좋아졌고 손과 글자도 이제 그릴 수 있지만, 예술적 감각은 완전히 정체되어 있음

이런 발표를 보면 마음이 갈림
한편으로 AI 프롬프트가 오래된 문제를 풀 때 우리가 발견할 수 있는 것에는 무한한 잠재력이 있음
다른 한편으로 사람이 씨름하거나 새로운 통찰로 풀어낸 게 아니라는 점에서 미학적인 무언가가 사라짐
AI 프롬프트가 데이터센터에서 2주 동안 돌다가 p=np를 출력한다면, 조금 공허하게 느껴질 것 같음

모든 세대가 이런 감각의 어떤 버전을 느껴 왔음
“키보드는 영혼이 없다. 손글씨는 지문처럼 개인적이고 고유하다.” — Joyce Carol Oates가 타자기에 대해
“당신의 이 발견은 배우는 이들의 영혼에 망각을 낳을 것이다. 그들은 기억을 쓰지 않고 외부의 문자에 의존해 스스로 기억하지 않을 것이기 때문이다. 당신이 발견한 것은 기억을 돕는 약이 아니라 상기를 돕는 약이며, 제자들에게 진리가 아니라 진리의 겉모습만 줄 뿐이다.” — Socrates가 글쓰기에 대해

그 느낌에 공감하지만, 반대로 그 출력을 읽는 인간들은 꽤 큰 영감의 boost를 받을 것임
새로운 답은 보통 새로운 질문을 낳음

당연히 그 증명이 타당하다고 믿겠지, 자기가 썼으니까
대형 언어 모델 출력을 검증하려면 다른 대형 언어 모델을 써야 함

“GPT-5.6 Sol Ultra가 순환 이중 덮개 추측의 증명을 생성”
매우 오해를 부르는 기사 제목임
제목은 “이름 없는 인간들이 GPT-5.6을 사용해 CDC 추측에 대한 검증되지 않은 증명을 생성”이어야 함
다만 AI 업계에서 나오는 건 광고 문구일 거라고 예상함

증명이 이렇게 간결한 점이 좋음
조합론 미해결 문제 몇 개에서 진전을 낸 적이 있는데, 경계를 한 단계 확장하는 증명이 45쪽이나 됐음

고등학교 때 수학 연구를 했는데, 증명이 추한 다항식 부등식 수십 가지 경우로 귀결됐음
지금 PDF를 찾을 수는 없지만 최종 논문이 대략 70쪽이었고, 그중 몇 쪽은 전개된 다항식 표현이 한 페이지를 꽉 채웠음
실제 산문은 아마 5쪽 정도였을 것임
내가 본 그 어떤 증명보다도 명백히 가장 우아하지 않은 증명이었음
일찍 연구를 해 보고 발을 담글 기회를 얻은 데는 정말 감사하지만, 그 논문을 돌아보면 민망해짐