2024년에 AGI가 언제 오냐고 물었으면 2025년이라고 답했을 사람이, 왜 안 왔는지 직접 설명함.

오픈AI에서 추론을 이끌던 제리 트워렉임. 강화학습을 키우면 전부 풀린다고 믿는 최대주의자였고, 실제로 그 확장의 한복판에 있었음. 모델을 하나씩 학습시켰고 계속 좋아졌고 벤치마크 점수는 전부 올라갔음.

그런데 현실 과제는 안 풀렸음. 그가 짚은 이유가 날카로움. 모델을 평가하는 벤치마크가 모델을 학습시킨 것과 사실상 같은 것이었다는 것. 시험 문제와 교재가 같은 물건이었던 셈임. 점수는 오르는데 실력이 그만큼 안 늘어난 이유가 여기 있음.

지금 그는 코어 오토메이션이라는 회사를 만들었는데, 이름 그대로 작업 자동화가 목표임. 그런데 스스로에게 던지는 질문이 이것임. Codex로 많은 일을 하는데 왜 나는 아직도 출근하는가. 왜 아직 자동화가 안 됐는가.

답으로 그가 내놓은 건 규모가 아니라 구조임. 지난 6년은 같은 두 연산에 파라미터만 계속 붙인 시간이었고, 이제 병목은 아키텍처 자체라는 것. 모델은 실험실에서 학습되고 현실에서 배포된다는 긴장이 핵심이라고 했음.

스케일링으로 여기까지 왔다는 데는 다들 동의함. 갈리는 건 다음 구간도 같은 방법으로 갈 수 있느냐임.