Import AI 469: 과학 AI; RSI 시뮬레이터; 그리고 척커의 기술적 비관주의

DiG-bench는 Fable이 창의적인 직관을 보여준다는 것을 나타냅니다:
_…AI 시스템 분석의 새로운 영역은 그들이 환경의 쓰여지지 않은 규칙들을 얼마나 잘 추론하는지 이해하는 것입니다…
AI 시스템이 탐색과 호기심을 통해 환경의 규칙을 얼마나 잘 파악할 수 있는지, 아니면 단순히 주어지는 정보에 의존하는지에 대한 질문입니다. 이는 AI 시스템의 직관적이고 창의적인 능력을 더 잘 이해하기 위한 중요한 질문이며, DiG-bench(Discovery in Games)가 던지고 있는 문제입니다. DiG-bench는 “통제된 인터랙티브 시스템에서 발견의 표면을 매핑하도록 설계된” 70개의 게임으로 구성된 새로운 벤치마크입니다. 시각적 ‘ARC’ 게임과 유사하게, DiG-bench에서는 “각 게임이 자체적인 법칙을 가진 독립된 미니어처 세계이며, 규칙과 목표 모두 플레이어에게 숨겨져 있어 상호작용을 통해 발견되어야 합니다.” 공식 프로젝트 웹사이트(digbench.ai)에서 직접 몇몇 게임을 플레이하며 감을 잡을 수 있습니다.

이것이 측정하는 핵심은 플레이어가 성공을 결정짓는 중요한 메커니즘을 포착하는 능력입니다. 기본적으로, 게임들을 가지고 놀면서 자신의 행동이 환경을 어떻게 변화시키는지 감을 얻고, 이를 통해 게임에서 성공하기 위해 이해해야 하는 메커니즘도 발견하게 됩니다. 아이디어는 이러한 게임들을 풀 수 있다면, 새로운 환경 속에서 중요한 정보를 파악하고 사전 지식(priors)을 업데이트하는 괜찮은 능력을 가지고 있다는 것입니다.

연구를 수행한 사람: 저자들은 Thinking About Thinking, 옥스퍼드 대학교(University of Oxford), 프린스턴 대학교(Princeton University), King Abdullah University of Science and Technology, Swiss AI Lab, Inria, MIT 출신입니다. 저자 중 한 명은 매우 창의적인 OG AI 연구자인 Juergen Schmidhuber입니다.

주요 사실:

• 순수하게 텍스트 기반: 이 게임들은 기본적으로 언어 모델에 내재되어 있습니다. 또한 대부분은 “대부분의 흔적(traces)이 현재 최첨단 모델의 컨텍스트 창 안에 완전히 들어올 만큼 짧습니다”.

• 수작업 및 참신하며 비공개: 이 모든 게임들은 인간 전문가들에 의해 구축되었습니다. 대다수의 게임들은 AI 시스템이 학습하지 못하도록 비공개로 유지됩니다.

• 클리어 가능하지만 어려움: 모든 게임은 적어도 한 명의 인간에 의해 클리어된 적이 있지만, “플레이어들은 많은 게임들이 어렵다고 보고했습니다”.

• 다양한 기술: 이 모든 게임들을 해결하려면 다양한 기술과 전략이 필요합니다.

• 실험: 이 게임들에는 선택적인 실험 모드가 포함되어 있어, 사람들이 취할 수 있는 행동에 대한 강도 높은 “단계 제한(step limit)” 없이 자유롭게 가지고 놀 수 있게 합니다.

• 안심할 만큼 어려움: 이 게임들은 오늘날의 최첨단 모델로는 클리어하기 어려울 정도로 어렵습니다.

AI 시스템은 얼마나 잘 수행할까요? 벤치마크는 티어 1이 가장 쉽고 티어 7이 가장 어려운 일곱 단계로 나뉩니다. 총 21개의 게임이 공개적으로 출시되었으며, 나머지는 비공개로 보관되었습니다. 대부분의 게임들은 여러 레벨을 가지고 있으며, 각 단계에서 플레이어가 취할 수 있는 행동의 수는 2부터 최대 34까지 다양합니다.

• Opus 5와 Fable 5는 Claude Code를 사용했을 때 전반적으로 가장 우수한 모델이었으며, GPT-5.5가 그 뒤를 이었습니다.

• 어떤 과제(0.2)에서도 클리어할 수 있었던 모델은 Opus 5와 Fable 5뿐이었습니다 (티어 7). Opus 5, GPT-5.5, 그리고 Kimi K3는 하네스(harness)에 접근했을 때 티어 6의 일부 과제들을 클리어할 수 있었습니다 (예: Claude Code).

• GLM-5.2와 Gemini 3.1 Pro는 티어 4의 일부 레벨을 클리어할 수 있었습니다.

• 전반적으로, 이것은 정말 어려운 것 같습니다!

이것이 중요한 이유 – 창의성과 발견의 대리 지표: 이러한 테스트는 창의성의 전제 조건, 즉 자신이 처한 새로운 상황에 대해 유용하지만 문서화되지 않은 것들을 자율적으로 발견할 수 있는 능력을 분리하려는 시도입니다. 이 테스트가 보여주듯이, 일부 최첨단 모델들은 이미 상당히 인상적인 수준의 발견 능력을 갖추고 있지만, 여전히 인간과 비교하면 어려움을 겪습니다 (예를 들어, Tier 7에서 20%의 성공률은 개별 인간이 테스트에서 100%를 달성했던 사실에 비하면 매우 낮은 수치입니다). 제 추측으로는 우리가 2027년 중반까지 DiG-bench에서 인간 수준의 동등도(human parity)에 도달할 것이며, 이때부터는 재귀적 자기 개선(recursive self-improvement)과 같은 것들이 심각하게 가속화될 것으로 예상합니다.
더 읽어보기: DiG-bench: Discovery in Games (GitHub, PDF).
게임을 플레이하고 리더보드를 확인하세요: 공식 사이트(digbench.ai).

---

이 브라우저 기반 게임을 통해 재귀적 자기 개선에 대한 감각을 느껴보세요:
...Cookie Clicker를, 하지만 특이점(singularity)을 위한 것…
패러다임 리서치(Paradigm Research)의 재미있는 게임으로, AI 시스템을 구축하는 회사를 운영하며 재귀적 자기 개선 능력을 갖추게 되는 것이 어떤 느낌인지 시뮬레이션하는 것을 목표로 합니다. 이 게임을 플레이하면 연구원에게 투자하는 것과 컴퓨팅 자원에 투자하는 것 사이의 균형을 맞추는 방법, 데이터를 라이선스화할 시점과 방식 등 AI 연구의 다양한 구성 요소들이 어떻게 상호작용하는지 좋은 감각을 얻을 수 있습니다. 경고합니다만, 어렵습니다 – 하지만 솔직히 말해, 최첨단 AI 개발 역시 마찬가지입니다.

이것이 중요한 이유: 재귀적 자기 개선에 대한 더 나은 직관을 개발하는 것은 우리 모두에게 실존적인 중요성을 갖습니다. 이러한 게임들은 우리가 이 기술과 이를 구축하는 연구소들에 대해 추론하기 쉽게 만드는 데 도움을 줍니다.
게임 플레이하기: RSI 시뮬레이터 (Paradigm Research).

AI 시스템들이 과학 연구의 감각(taste)을 보여주기 시작했습니다:
…내재된(Inherent) 오픈 가중치 모델을 AI 과학자로 미세 조정하여 최첨단 모델을 감독하게 하는 방식입니다…
감각은 정량화하기 어려운 것이지만, 직관적으로 느낄 수 있는 것입니다. 우리 모두가 잘 설계된 방에 앉아 특히 멋진 옷을 입은 사람을 보거나, 딱 맞는 질문을 던지는 연구 논문을 읽었을 때를 생각해보면 알 수 있습니다. 이제 AI 스타트업 Inherent의 연구원들은 자신이 연구 분야에서 '감각'을 개발할 수 있기를 바라는 AI 과학자 모델인 Faraday를 구축하는 방법을 보여주는 논문을 발표했습니다.

그들이 한 일: 이 회사는 대규모 독점 최첨단 모델 위에 놓여 그들의 과학적 효과성을 향상시키는 방식으로 제어하는 감독 장치(supervisory harness)와 비교적 작은 LLM을 만들었습니다. (어떤 면에서는 이것은 역량 중심적인 규모 확장된 감독 문제(scalable oversight problem)의 버전입니다.)
시스템을 훈련하고 평가하기 위해 그들은 핵심 그래프나 결과가 누락된 연구 논문으로 구성된 데이터셋(

결과: Faraday가 Codex를 사용하여 표준 Opus 4.8 및 GPT-5.5보다 일부 복제 작업에서 우위를 점할 수 있으며, 이는

마크 저커버그는 기술적 비관주의자인 것 같다:
_…저커의 AI에 대한 거대한 에세이는 발명 능력을 갖춘 AI 시스템이 무엇을 의미하는지 무시하거나 생략하거나 직면하지 못한다…
마크 저커버그는 자신이 어떻게 Meta와 함께 AI 시스템 개발에 접근하고 있는지를 보여주는 일종의 선언문 역할을 하는 “The Future is for Everyone”이라는 에세이를 작성했다. 저커 전략에 내재된 핵심 아이디어는 권력 집중과 소수 플레이어에 의한 전제정치를 피하기 위해 지구상의 모든 사람들에게 AI 역량을 대규모로 확산하는 것이다. 이는 광범위하게 합리적인 생각이지만, 새로운 아이디어를 발명할 수 있는 초지능(superintelligence)이 마크 저커버그가 제안하는 것과 다르게 행동하고 싶어 할 수도 있다는 사실 때문에 예외가 있으며, 이 중요한 영역에 대해 그의 에세이는 침묵한다.

마크의 견해: “우리 시대의 결정적인 질문은 누가 초지능에 접근할 수 있을 것이며, 우리가 그것을 무엇으로 향하게 할 것인가”라고 저커버그는 쓴다. “우리는 개인 역량 강화(individual empowerment)를 번영의 원천으로, 발명(invention)을 초지능의 주요 목적으로, 그리고 세력 균형(balance of power)을 안전의 기반으로 하는 철학을 제안한다.”

Meta의 목표와 신념:

• “모두가 당신을 이해하고, 당신의 목표와 당신이 신경 쓰는 모든 것을 아는 매우 유능한 개인 에이전트(personal agent)를 갖게 될 것입니다.”

• “모두가 자신의 아이디어를 표현할 수 있는 놀라운 창작 도구를 갖게 될 것입니다.”

• “모두가 새로운 사업을 창출하는 강력한 도구를 갖게 되어 경제가 더욱 기업가적(entrepreneurial)이 될 것입니다.”

• “모두가 모든 주제에 박사 학위를 가지고 무한한 인내심을 가진 개인 맞춤형 튜터이자 코치를 얻어 원하는 모든 것을 배울 수 있게 될 것입니다.”

• “모두가 과학적 발전을 누리고 과학적 진보에 기여할 수 있게 될 것입니다.”

• “모두가 이러한 도구에 대해 무료 또는 저렴한 접근성을 갖게 될 것입니다.”

놓쳐진 질문: 제가 이 에세이에서 가장 이해하기 어려운 부분은 Zuckerberg가 발명 능력을 가진 AI 시스템과 개인의 역량 강화(individual empowerment)를 혼합하는 방식입니다. 이 에세이는 마치 이러한 것들이 패키지처럼 제공된다고 가정하는 내용으로 가득 차 있습니다. 예를 들면 다음과 같습니다:**

• “하루에 한 사람이 던질 수 있는 질문의 수는 제한적이지만, 초지능(superintelligence)이 목표 달성을 돕기 위해 발명할 수 있는 가치 있는 것들의 수는 무한합니다.”

• “초지능이 발명의 도구로서 더 많이 기능할수록, 개인의 역량이 자동화(automation)를 앞지를 가능성이 높아지고 미래가 사람들에게 더 좋아질 것입니다.”

• “모두가 곧 발명 초능력을 갖게 될 것입니다.”

• “우리가 얻는 결과는 한쪽의 자동화와 다른 쪽의 개인 역량 강화 및 발명 사이의 균형에 달려 있습니다.”