Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
OpenAI가 수학적 증명 원고 700여 개를 대규모로 공개했으나, 이후 검증기(checker)의 작동과 학계의 비판에 직면하며 세 가지 결과물을 철회했습니다. 이 사건은 AI가 생성한 지식의 형식화와 검증 과정에서 발생하는 근본적인 논쟁을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현지 시간으로 10월 8일 오전 7시경, Hacker News에 한 게시물이 올라왔습니다: "OpenAI가 수학적 결과물 세 가지를 철회합니다." 사십사개의 포인트와 서른일곱 개의 댓글을 받았던 것이 오후가 되자마자 사라졌는데, 모델 출시 소식들 사이에 묻히는 것은 언제나 철회 관련 이야기들이 그렇듯이 말입니다.
이 세 가지 결과물은 대략 사십팔 시간 동안 공개되어 있었습니다. 이들은 OpenAI가 10월 6일에 발표한 내용의 일부였습니다: 공지에는 "내부 프론티어 모델이 생성한 광범위한 새로운 수학적 결과물"을 설명하고 있었으며, 이는 GitHub 리포지토리 형태로 배포되었습니다. 비평가들의 계산에 따르면 이 리포지토리는 원고(manuscripts), 추론 과정(reasoning traces), 그리고 "Lean에서 많은 증명의 형식화(formalizations of many of the proofs in Lean)"를 포함하는 700개 이상의 파일을 담고 있었습니다.
저는 이를 반박 기사로 작성할 줄 알았습니다. 그 발표에는 재앙이 일어나기 직전에 흔히 등장하는 문장이 포함되어 있었거든요: "우리가 얻는 대로 리포지토리를 더 많은 형식화 자료와 함께 업데이트할 것입니다." 이 문장을 두 번 읽어보세요. 먼저 출판하고, 검증은 순차적으로 진행한다는 의미입니다. 이는 700개의 그럴듯한 문서들을 배포하고 나중에 확인해 보겠다고 약속하는 회사라는 뜻이었습니다.
하지만 결말은 재앙과는 정반대였습니다. 검사(checker)가 실행되었고, 세 가지 결과물이 사라졌습니다. 그리고 이것이야말로 이번 달 AI 분야에서 가장 고무적인 일입니다.
AI 수학 증명 공개와 학계의 논쟁적 반응
이 갈등이 무엇에 관한 것인지 주목해야 한다. 아무도 Lean 증명이 가짜라고 주장하는 것이 아니다. 검증기(checker) 자체는 기계적이다: 증명이 컴파일되거나 그렇지 않다. 그리고 그 git 기록은 각 형식화가 정확히 언제 들어왔는지 보여준다. 논쟁의 핵심은 검증기 주변의 모든 것—출처 표기, 규범, 누가 이것을 요청했는지—에 관한 것이다. 한편, 이 검증기 자체는 공급업체(vendor)가 공개적으로 제시한 주요 결과물 중 세 가지를 48시간이라는 시간제한 내에서 먹어치웠다.
내가 진정으로 새롭다고 느끼는 부분, 그리고 이것이 단순히 "AI 쓰레기(slop)가 아니라 동료 심사(peer-reviewed)"인 이유이다.
과학은 이미 검증 전에 출판한다—그것이 프리프린트(preprint)의 본질이다. 하지만 프리프린트는 그 자체로 상태를 명시한다: 이것은 아직 확인되지 않았다. OpenAI가 배포한 것은 저장소(repository)가 첨부된 보도 자료에 가까웠으며, 철회 과정에서 드러난 바는 검증 계층(verification layer)이 이제 PR(Public Relations) 계층보다 더 빠르게 움직인다는 것이다. Lean은 증명을 기계적으로 확인한다. Mirrors는 하루 만에 코퍼스(corpus)를 포크(fork)한다. 독립 감사자들(Independent auditors)은 결과를 선택하고 재도출한다. 커뮤니티가 발표에서 미룬 검증을 실행하며, 실패 사례들은 A18 페이지의 수정 사항이 아닌 공개적인 커밋으로 나타난다.
저장소는 영수증이다. 그 역사는 중요한 방식으로 추가만 가능하다(append-only)는 점: 세 번의 철회 기록은 영원히, 타임스탬프와 함께, 비교 가능하게 보인다. 아무도 잘못된 증명을 올바른 것으로 조용히 바꿀 수 없다—감사자들이 초기 스냅샷을 가지고 있기 때문이다. 이것은 변조 방지 속성(tamper-evidence property)이며, 검증이 완전히 기계적인 유일한 분야에서 우연히 얻어진 것이다.
이것이 전체 핵심이자, 이번 주가 수학을 넘어 중요한 이유이다: **
이는 매우 중요하며, 현재 시점에서는 해결되지 않은 문제입니다. 만약 세 가지 결과가 공식화되었고 Lean이 이를 승인했다면, 그 공식화 과정은 의미론적으로 잘못된 것입니다. 원고가 주장한 것과는 약간 다른 명제를 증명했기 때문입니다. 이는 '증명이 컴파일됨'과 '증명이 증명함' 사이의 고전적인 간극을 보여줍니다. 만약 아직 공식화되지 않았다면, 철회는 더 간단합니다. 검증자가 도달하기도 전에 검증되지 않은 부분이 회수된 것이므로 괜찮지만, 그렇다면 헤드라인에 나온 숫자 — '많은 증명의 공식화' — 가 감당할 수 있는 것보다 더 큰 무게를 지니고 있었습니다.
두 버전 모두 제가 어렵게 배우는 같은 교훈을 가르쳐 줍니다. 검증 로그가 없는 검증 주장은 그럴듯한 서사일 뿐입니다. '많은 증명이 공식화되었다'는 것은 어떤 것이, 무엇에 의해, 언제 확인되었는지 물어보고 그 답이 자체적인 영수증이 될 때까지 아무 의미가 없습니다. 이 질문은 수학에서 답을 가지고 있습니다. 우리가 배포하는 대부분의 것 — 에이전트, 감사(audit), 규정 준수 문서 — 에서는 아직 그렇지 않습니다.
철회 자체야말로 이 게시물에서 가장 증명되지 않은 사실입니다. 저는 발표문, AHM 성명서, 감사 저장소(audit repositories), 커뮤니티 스레드 등에는 근거를 제시할 수 있지만, 제가 가져올 수 없었던 OpenAI의 공식 철회 메모는 물론이고, 세 가지 결과에 대해서도 확신을 갖고 이름을 대기는 어렵습니다. 이 숫자는 스레드 제목과 해당 저장소를 추적하는 트래커(trackers)에서 나온 것입니다. 만약 이 숫자가 틀리더라도, 핵심 논지 자체는 살아남습니다. 즉, 코퍼스(corpus)가 공개적으로, 대규모로, 빠르게 공식 검증을 받고 있다는 점은 중요하지만, 그 숫자는 의미가 있으며 오늘 제가 제공해 드릴 수 없는 1차 자료 인용이 필요합니다.
그리고 42%는 상태가 아닌 스냅샷입니다. 이는 10월 8일 아침에 저장소 추적자들이 보고한 공식화(formalization) 공유 비율이며, 독자님께서 이 글을 읽으실 때쯤에는 어떤 방향이든 이미 구식이 될 것입니다. 유일하게 정직한 지표는 커밋 로그(commit log) 자체이며, 그것은 움직입니다.
혹시 아티팩트(artifact)를 먼저 배포하고 검증을 일정에 맞춰 약속한 적이 있습니까? 그 일정이 지켜졌나요? 그리고 만약 이 릴리스에서 나온 Lean 공식화 중 하나를 실제로 컴파일해 보셨다면, 스레드는 어떤 것인지 알고 싶어 합니다. 언제나 그렇듯이, 증거(receipts)가 헤드라인보다 중요합니다.