2024년에 AGI가 언제 오냐고 물었으면 2025년이라고 답했을 사람이, 왜 안 왔는지 직접 설명함.

요약

OpenAI 출신 제리 트워렉이 AGI 도래가 지연되는 이유를 분석했습니다. 벤치마크와 학습 데이터의 중복 문제와 스케일링 법칙의 한계를 지적하며, 단순 파라미터 확장을 넘어선 아키텍처 구조의 변화가 필요함을 강조합니다.

오픈AI에서 추론을 이끌던 제리 트워렉임. 강화학습을 키우면 전부 풀린다고 믿는 최대주의자였고, 실제로 그 확장의 한복판에 있었음. 모델을 하나씩 학습시켰고 계속 좋아졌고 벤치마크 점수는 전부 올라갔음.

그런데 현실 과제는 안 풀렸음. 그가 짚은 이유가 날카로움. 모델을 평가하는 벤치마크가 모델을 학습시킨 것과 사실상 같은 것이었다는 것. 시험 문제와 교재가 같은 물건이었던 셈임. 점수는 오르는데 실력이 그만큼 안 늘어난 이유가 여기 있음.

지금 그는 코어 오토메이션이라는 회사를 만들었는데, 이름 그대로 작업 자동화가 목표임. 그런데 스스로에게 던지는 질문이 이것임. Codex로 많은 일을 하는데 왜 나는 아직도 출근하는가. 왜 아직 자동화가 안 됐는가.

답으로 그가 내놓은 건 규모가 아니라 구조임. 지난 6년은 같은 두 연산에 파라미터만 계속 붙인 시간이었고, 이제 병목은 아키텍처 자체라는 것. 모델은 실험실에서 학습되고 현실에서 배포된다는 긴장이 핵심이라고 했음.

스케일링으로 여기까지 왔다는 데는 다들 동의함. 갈리는 건 다음 구간도 같은 방법으로 갈 수 있느냐임.

AI 자동 생성 콘텐츠