OpenAI, 분할 원리(Partition Principle), 그리고 수학

어제 침대에서 일어났을 때부터 이 게시물에는 댓글이 달리지 않았다. 어제 일어나자마자 세 명의 사람이 나에게 OpenAI가 발표한 '분할 원리가 선택 공리(Axiom of Choice)를 함의하지 않는다'는 내용을 봤는지 물었다. 그 숫자는 하루 종일 계속 늘어났고, 왜 그런지 알겠다. 나는 이 문제에 유명하게 관심을 가지고 있다.

실제로 최소 두 명은 내가 내 'Problems' 페이지에 약속한 대로 Sam Altman에게 위스키 한 병을 보낼 계획인지 물었다. 이에 대한 대답은 아니다. 그리고 왜 그런지, 그리고 왜 여러분이 OpenAI에게 매우 화를 내야 하는지를 설명해 주겠다.

먼저 몇 가지를 명확히 하자. 나는 AI 사용에 전적으로 반대하는 것은 아니다. 그것이 도구라는 것을 이해하고 있으며, 많은 사람들이 그것을 유용하다고 생각한다는 점에 동의하며 기쁘게 받아들인다. 하지만 이 기술이 우리의 분야를 어떻게 변화시키는지, 그리고 우리가 그것을 어떻게 사용하기를 원하는지를 충분히 이해한 후에 성급하게 편승해서는 안 된다고 생각한다. 이것이 내가 수학에서 AI 사용을 일반적으로 피하는 이유다 (LLM에게 정보를 통합하도록 요청하거나, 유용한 인포그래픽을 생성하도록 하거나, 이메일을 교정하도록 하는 등은 기꺼이 한다). 단지 내 관점에서 현재 부족한 것은 그것을 사용하는 프레임워크일 뿐이다. 그럼에도 불구하고 우리는 발견의 단계에 있으며, 사람들이 그것을 사용하고 그 결과가 전개되는 것을 보고 커뮤니티로서 그것을 더 채택할지 아니면 사용을 제한할지 결정할 수 있다. 예를 들어, arXiv는 이러한 도구의 결과로 속도 제한(rate limiting)을 도입했고, 거의 모든 논문에는 현재 어느 정도 AI 관련 진술이 포함되어야 한다 (AI를 전혀 사용하지 않았다고 말하는 것조차도). 우리는 저자의 기여도를 어떻게 판단해야 할지 결정해야 한다. 예를 들어, 채팅 기록을 공개하도록 요구할지, 아니면 적어도 검토자(reviewers)와 편집자(editor)가 이용할 수 있도록 해야 할까? 이것들은 우리가 다루고 나아가야 할 질문들이다.

하지만 다시 분할 원리(Partition Principle)로 돌아가 봅시다. 저는 OpenAI에서 발표한 사전 인쇄본(preprint)을 잠시 살펴보았습니다 (Lean 코드는 보지 않았습니다. 왜냐하면 저는 Lean의 실제 사용법에 대해 아는 것이 거의 없고, 그 코드가 엄청나게 방대했기 때문입니다). 정말 실망스러웠습니다. 명확하지 않고, 혼란스럽고, 구조가 이상합니다. 용어 자체가 '조금 어긋나' 있으며, 기대하기 어려운 정리들(theorem)이 제시되어 있고, 이들이 매우 이상한 방식으로 진술되어 있습니다. 특히 보조정리 7.4(Lemma 7.4)는 이런 논문에서 예상되는 내용이 아니며, 보조정리 8.1(Lemma 8.1)도 마찬가지입니다.

그리고 참고 문헌들 문제입니다. 브리스톨 모델(Bristol model)에 관한 제 논문 중 하나가 대칭 확장(symmetric extensions)의 기본적인 소개를 위해 인용되었는데, 이는 제가 선택했을 만한 참고 자료가 아닙니다. 게다가 출판되지 않았고, 심사도 거치지 않은, arXiv에도 올라오지 않은 강의 노트가 최소 세 개나 사용되었습니다 (제 논문 포함인데, 이 제 논문은 제가 확신하는 바에 따르면 이미 다른 사람들의 출판된 논문에 등장하는 하나의 명제를 참조하는 데 쓰였습니다). 이것이 문제를 해결한다고 주장하는 진지한 사전 인쇄본에서 기대할 수 있는 수준이 아닙니다.

저는 이 사전 인쇄본을 집합론(set theory)의 어떤 논문과 비교해 보겠습니다. 그 논문이 제가 익숙하지 않은 하위 분야의 기술적인 내용들을 다루고 있지 않다고 가정합니다. 저는 거의 확실하게 집합론 논문을 훑어보고 무엇에 관한 것인지 좋은 아이디어를 얻을 수 있습니다. 일부 용어나 주장(argument)은 익숙하지 않을 수도 있지만, 비기술적인 부분들에 대해서는 전략과 구성 방식(construction)을 이해할 수 있어야 합니다. 그리고 제가 전문성을 가진 선택 공리(Axiom of Choice)에 대한 논문이라면, 저자가 무엇을 했는지 (혹은 의도했는지) 좋은 아이디어를 얻기 위해 일반적으로 짧게 훑어보는 것으로 충분합니다. 항상 옳다고 말하거나, 항상 저자가 의도한 바를 정확히 파악한다고 말할 수는 없지만, 저는 이 분야에 15년 이상을 바쳤고, 이제는 어떻게 작동하는지 상당히 잘 알고 있습니다. 하지만 OpenAI의 분할 원리 관련 논문에서는 이것이 불가능합니다.

아니요, 만약 이것이 학술지에 제출된 논문이었다면, 그 품질 때문에 심사 단계에서 거절(desk rejection)되었어야 합니다. 항상 저자가 커뮤니케이션 수준에 맞추고 준수할 책임이 있습니다. 마치 스웨덴어로 작성된 논문이 미국 수학회지(Proceedings of the American Mathematical Society)에서 아예 거부될 가능성이 높은 것과 같습니다. 왜냐하면 독자들에게 접근하기 쉽게 만들 책임은 저자들에게 있기 때문입니다. 그리고 바로 여기에 문제가 있습니다.

OpenAI가 수백 개의 '해결책'을, *이해할 수 없을 정도로 작성된 '해결책'*을 쏟아내고, 우리는 모두 그것들을 보고 무엇을 해야 할까요? 그들의 기여에 감탄해야 할까요? 왜요? 저는 여러 논문을 끝내야 하고, 많은 박사 과정을 지도하고 있으며, 저만의 활발한 연구도 많이 진행해야 합니다. 언제 제가 형편없이 작성된 논문을 걸러낼 시간이 있나요? 그들이 더 잘 소통하려는 노력을 하지 않는데, 제가 왜 신경 써야 할까요?

OpenAI의 보도 자료는 단지 '진전'만을 시사합니다. 하지만 미디어 주기에서 다른 모든 사람들에게 이것들은 '해결책'입니다. 이것은 케이크를 가지고 먹고 싶어 하는 것(have your cake and eat it too)과 같은 완벽한 방법입니다. 그러나 우리가 이것을 진지하게 받아들이고 싶다면, 이는 **서비스 거부 공격(Denial of Service)**에 해당합니다: 다른 모든 것을 멈추고 이 문제 하나만 파헤치라는 것입니다. 그리고 어쩌면 어떤 사람들은 자신들이 할 수 있을지도 모르는 문제에 몇 년 동안 매달렸을 수도 있지만, 전체적으로 볼 때... 음. 만약 이것이 진정으로 진전을 공유하려는 시도였다면, 글의 품질이 더 좋았을 것이고, 실제 주제에 대한 실제 전문가들의 조언과 의견을 받았을 것입니다. OpenAI는 바쁜 회사이지만, 저는 그들이 정말 도움이 되고 싶다면, 적어도 출력물의 품질에 대해 몇몇 수학자들에게 연락하여 조언과 의견을 구할 시간을 찾을 수 있다고 확신합니다. 왜냐하면 이것이 개선의 거대한 도약일지라도, 아직 받아들일 만한 수준에는 훨씬 못 미치기 때문입니다. 하지만 뭐, 누구나 ChatGPT가 오랫동안 풀리지 않던 문제(분할 원리(Partition Principle)에 관한 이 문제는 100년 이상 된 것)를 해결했다고 주장할 수 있으니, OpenAI가 신경 쓸 필요가 있을까요?

그렇다면 우리 수학자들은 무엇을 남겨두게 될까요? 우리는 대중, 자금 지원 기관, 그리고 정책 입안가들만 남습니다. 이들은 학자가 아니며, 전문가도 아니고, 수학자도 아닙니다. 또한 그들은 수학 연구가 어떻게 진행되는지(생물학, 심리학 또는 문헌학의 연구와는 매우 다르기 때문에) 알지도 못합니다. 이들은 이러한 '결과'들을 보고 우리가 수학자를 봇으로 대체할 수 있다고 생각합니다. 이것은 마치 요리사를 주방 도구로 대체하는 것과 같습니다. 비록 칼이 자동화되어 채소를 스스로 다질 수 있다 하더라도, 그것과 먹고 싶은 맛있는 음식 사이에는 여전히 상당한 거리가 존재합니다.

제게는 AI 기술 회사들이 우리에게 자신들의 기준에 맞추기를 원할 뿐, 우리의 기준에 맞춰 시간과 에너지를 쏟을 의향이 없는 것 같습니다. 그리고 저는 이것만으로는 안 될 것이라고 두려워합니다. 그러니 아니요, 저는 조만간 Sam Altman에게 위스키 한 병을 보낼 생각이 없으며, 그 논문을 읽고 이해하려고 시간을 쓸 계획도 없습니다.