가장 큰 불만은 전체 실험과 구성에 대한 투명성 부족임. 이 10개 문제만 모델에 한 번씩 풀게 했다고 보기 어려우므로, 전체 실험 설계를 공개하지 않은 채 제시한 2,000달러는 P값 해킹처럼 오해를 부를 수 있음
모델에 준 전체 문제 수, 포기하기 전까지 풀지 못한 비율과 비용, 문제별 시도 횟수, 작업 클러스터 접근 여부를 포함한 실행 환경 비용을 알고 싶음

AI 열풍 전에도 수학 교육에서는 문제와 해답 자체뿐 아니라 이를 찾도록 돕는 주변 발판(scaffolding) 이 중요하다는 논의가 있었던 것으로 기억함

비용은 오히려 이 비판에 적합하지 않아 보임. 10개 문제에 100만 달러를 썼더라도 수학 연구자 10~20명의 1년 비용 정도인데, 같은 돈을 인간에게 지급해 동일한 결과를 얻을 수 있을지는 의문임

OpenAI나 다른 LLM 개발사와 무관한 연구자가 비슷한 성과를 낸 적이 있는지도 궁금함
OpenAI가 유능한 조합론 연구자를 고용해 문제를 풀게 했고 모델은 부수적으로만 활용했을 가능성도 확인할 필요가 있음

모든 사안을 의무적인 무작위 대조시험(RCT) 없이는 받아들이지 못하는 태도도 과도함. 비꼬려는 게 아니라, RCT를 연출하지 않고도 적절한 자기 회의는 가능해야 함

전체 실행 비용을 공개하지 않은 것과 P값 해킹을 비교하는 건 부당함. 가격 보고 누락은 과학적 사기나 결과 조작과 전혀 다름

더 놀라운 점은 이 글이 HN 첫 화면 최상단에도 오르지 않았다는 사실임. 이전보다 발전한 결과라 해도, AI가 수학과 컴퓨터과학에서 중대한 진전을 만든다는 발상에 이제는 별로 놀라지 않게 됐음을 보여줌

AI 발전을 심리적으로 받아들이지 못하는 사람들이 적극적으로 신고해 순위가 내려간 것임. Hacker News는 더 이상 엘리트의 사이트가 아님

대상 독자인 학계 수학자 친구 여러 명은 제목이 새로운 성과 10건이 아니라 지난달 성과를 정리한 글처럼 보여 그냥 지나쳤다고 함

기업별 이해관계와 오픈소스 여부 등으로 진영이 매우 심하게 갈려 있음

그렇다면 AI 연구 자체는 어떨지 궁금함. OpenAI가 인간 직원을 자동화해 일자리를 없앨 단계에 가까운지도 물어야 함

솔직히 이런 종류의 글에 조금 지친 상태임

AI의 영향력은 이제 부정하기 어려우며, 목표를 옮겨 세울 자리도 거의 남지 않았음. 다음에는 경기장 밖으로 옮겨야 할 정도임
사람들이 빨리 부정에서 벗어나 이를 진지하게 다루기 시작할수록 좋음

목표를 옮긴다는 비판은 이해하기 어려움. 과학은 발전하고 배우면서 기대치를 재조정하는 과정이며, 목표를 전혀 바꾸지 않으면 같은 성과만 반복하게 됨

문제는 부정이 아니라 무관심임. 대다수는 관심이 없지만 Kim Kardashian에 대해서는 모든 것을 말할 수 있음

OpenAI가 진전을 이뤘다고 한 분야의 전문가는 아니어서 성과를 섣불리 폄하하고 싶지는 않지만, 블로그의 표현이 마케팅 목적으로 과장됐을까 우려됨
이전에는 이 문제들을 안정적으로 푸는 계산적 접근법이 없었던 건 사실이지만, 이번 증명이 수학에 새로운 발상을 보탰는지 아니면 기존 문헌에서 적절한 도구 조합을 대규모 탐색한 것인지가 핵심임
애초에 답이 직관적이고 증명도 가능해 보였지만 전문가가 시간을 들일 만큼 가치가 높지 않았던 문제인지, 아니면 본질적으로 어려웠으며 AI가 거대한 풀이기에 넣는 것 이상의 일을 했는지 알고 싶음

인용 기록에서 돌파구 연구는 많이 인용되는 동시에 이전까지 함께 나타나지 않던 인용 계보를 연결하는 연구로 정의할 수 있음. 반면 평범한 점진적 연구는 이미 가까이 있던 기존 인용들을 조합함
즉 혁신은 이전에 연결되지 않았던 사고와 분야를 잇는 정도로 상당히 구체적으로 측정 가능함. Puja Ohlhaver가 이에 관해 발표했고, 나도 지원한 실험을 진행했음:

컴퓨터과학의 CVP와 회로 복잡도 문제는 최고 연구자들이 30~40년간 연구한 매우 중요한 과제이며, 그중에는 Turing Award 수상자도 있음. 해결했다면 여러 최고 권위 학회에서 최우수 논문상을 받을 만함

단지 advanced라는 단어를 썼다는 이유로 마케팅 과장을 걱정하는 건 이해하기 어려움. 박사급 연구자들이 경력의 상당 부분을 이 문제들에 썼으므로 표현은 적절함

초기 AI 급가속 전망 중 하나는 고급 수학의 미해결 문제를 푸는 시스템이 수학과 컴퓨터과학의 새로운 발견을 통해 소프트웨어 성능도 비약적으로 높인다는 것이었음
지금 성과는 인간이라면 세계 상위 100~1,000명, 약 상위 0.00001% 에 해당할 최전선 수학 수준이며, OpenAI가 GPU 커널 문제를 고쳐 약 15% 성능을 개선한 것처럼 소프트웨어에서도 큰 발전이 나타남. 거대 모델이 작은 규모에서는 불가능한 수학·소프트웨어 공학 능력을 함께 얻는다는 점에서 둘은 규모 법칙과 지능의 일반화로 연결됨
하지만 수학·과학 발견이 소프트웨어 성능 향상을 직접 열어줄 가능성은 예전보다 낮게 봄. 기술 기업도 수학 박사에게 순수수학 대신 소프트웨어 공학을 맡기며, 이들이 뛰어난 이유는 최신 학문적 발견보다 일반 지능 덕분인 경우가 많음
따라서 모델이 좋아지고 있다는 증거이긴 하지만, 최전선 수학 혁명이 촉발하는 폭발적 급가속(foom) 직전이라고 보기는 어려움

그렇게 보려면 모델이 학술 수학에만 명시적으로 과적합됐고 그 능력이 실용적인 소프트웨어 공학에는 전혀 전이되지 않는다고 가정해야 함. 그런 쪽에는 걸지 않겠음

새로운 수학 발전을 세계 상위 100~1,000명 수준과 동일시하는 건 수학자가 실제로 무엇을 하는지 오해한 것으로 보임

이름도 공개되지 않은 내부 AI의 능력은 인상적이지만, 인간 기여자 이름은 어디에도 하나도 없음. 누군가는 최소한 이 모델에게 커피라도 만들어줬을 것임

결과는 차기 주요 모델인 Astra 내부 버전으로 달성됐다고 명시돼 있음

수학자와 엔지니어의 급여까지 포함하면 이 연구의 총비용이 얼마였을지 궁금함

사람이 계속 붙어서 돌봐야 했던 게 아니라면 급여 전체를 포함할 이유는 없음. 실행 환경과 프롬프트 설정, 결과 검증에 쓴 시간만 계산하면 되며, 모델 훈련비는 다른 용도에도 분산됨

OpenAI가 직원에게 주식으로 보상하니 숫자는 엄청나겠지만, 기반 시설과 훈련된 모델이 이미 있는 현재에는 그다지 의미 있는 수치가 아님. AI가 더 발전하지 않아도 이미 엄청난 파괴력을 가짐

OpenAI 같은 회사들이 이런 결과를 공개하지 않고 단순히 훈련 데이터에 포함하기 시작하면 어떻게 될지 궁금함

순수수학을 비밀로 유지해도 산업적 가치가 거의 없고, 회사에는 모델 능력을 과시하는 용도뿐임. 현실적으로는 연구 비용 지원을 중단할 가능성이 더 큼
비공개로 모델 개선에 쓴다는 뜻이라 해도 올바른 증명 몇 개가 주는 추가 이득은 미미할 것이며, 결국 모델에서 추출돼 외부에 알려질 가능성도 큼

아직 풀리지 않았던 문제라 기존 해답 자체가 없었으므로 훈련에 넣는다는 표현이 무엇을 뜻하는지 불분명함

OpenAI 같은 곳은 전문가에게 사실상 수백만 달러어치 토큰을 쓰게 할 수 있을 것임. 하루 24시간 전체 연산 자원을 판매하는 게 아니므로 내부 비용은 대체로 전기료 수준에 가까움
그런데도 연산 자원이 완전히 사용되지 않는다면 앞으로 지을 수많은 데이터센터가 정말 필요한지 의문이 생김

OpenAI에는 연구가 곧 마케팅이므로 충분한 예산을 배정했을 것임

전체 출력량에 비하면 반올림 오차 수준일 가능성이 큼. 공개 모델의 사용량을 제한하면서 연구용 연산 자원을 확보하는 것이며, 데이터센터가 늘수록 제한도 줄일 수 있음

강화학습 훈련은 연산 자원을 전부 사용할 수 있으므로 무엇을 기준으로 필요 없다고 하는지 모르겠음

수학을 발전시킬 여유 연산 자원이 있었다는 사실로 데이터센터가 필요 없다고 결론 내리는 건 억지스러움. 오히려 이 소식에서 합리적으로 내릴 수 있는 결론은 더 많은 데이터센터가 필요하다는 것뿐임