Karpathy의 "$10 반지의 제왕": LLM이 질문에 답하는 대신 세계를 구축하기 시작하는 순간

부제: Andrej Karpathy는 Claude Opus 5에게 1M-token 예산과 LOTR(반지의 제왕)의 첫 번째 단락을 주었습니다. 2시간 후, 모델은 이야기를 3D로 렌더링하는 5,500줄의 코드를 작성했습니다. 이 실험은 그 어떤 벤치마크(Benchmark)보다 AI가 어디로 향하고 있는지에 대해 더 많은 것을 말해줍니다.

Andrej Karpathy는 단순한 데모라기보다 방향 신호에 가까운 실험으로 한 주를 시작했습니다. 그의 관찰에 따르면: 우리는 "자전거를 탄 펠리컨의 SVG를 생성해줘"와 같은 방식으로 LLM을 테스트하던 시대를 떠나고 있습니다. 새로운 질문은 모델이 대규모 예산, 엄격한 제약 조건, 그리고 인간이라면 절대 수고스럽게 하지 않을 작업을 부여받았을 때 어떤 일이 일어나는가입니다.

그가 무엇을 했는지, 이것이 왜 중요한지, 그리고 여전히 한계점은 어디인지에 대해 설명합니다.

실험 (The Experiment)

Karpathy는 Claude Opus 5에게 다음을 제공했습니다:

• The Lord of the Rings (반지의 제왕)의 첫 번째 단락
• 1M-token 예산 (~$10)
• 단 하나의 지시 사항: Three.js로 이야기를 렌더링할 것

결과물로 돌아온 것은 요약이나 텍스트 응답이 아니었습니다. 바로 이야기의 플레이 가능한 3D 해석을 절차적(Procedurally)으로 생성하는 5,500줄의 코드였습니다. 모델은 약 2시간 동안의 자율적인 작업 동안 (x, y, z) 좌표에 폴리곤 자산(Polygon assets)을 배치하고, 애니메이션 로직을 작성하며, 장면을 조율해야 했습니다.

Karpathy의 프레임워크가 핵심적인 통찰을 제공합니다:

"제정신인 사람이라면 이렇게 맞춤화된 무언가를 작성하는 데 시간을 쓰지 않겠지만, LLM은 세상의 모든 지구력과 인내심을 가지고 있습니다. 이는 우리가 '아무도 이런 일을 하지 않을 거야'에서 '물론이지, 안 될 거 없잖아, 거의 공짜인데'로 넘어가는 사례입니다."

이것이 전환점인 이유

1. 비용 곡선이 "한계 노력 제로(Zero marginal effort)" 선 아래로 붕괴되었습니다. 1M 토큰당 약 $10의 비용으로, 당신이 무엇을 구축할 수 있는지에 대한 구속 조건은 더 이상 연산 능력(Compute)이 아니라, 당신이 원하는 것을 얼마나 잘 _설명(Describe)_할 수 있느냐가 되었습니다. 이는 맞춤형 소프트웨어의 경제학을 뒤집습니다. 맞춤형, 일회성, 초특화된 빌드는 "가치가 없는 것"에서 "안 될 거 없지"의 영역으로 이동합니다.

2. "요청에 따른 X의 일시적인 GTA"라는 실제 제품 카테고리가 형성되고 있습니다. Karpathy의 다음 아이디어는 플레이어를 즉시 투입할 수 있는 초맞춤형 세계입니다. 사용자는 관찰자 NPC로서, 혹은 등장인물 중 한 명으로서 LOTR(반지의 제왕) 이야기에 참여할 수 있습니다. 이를 _생성형 테마파크 (generative theme parks)_라고 생각하십시오. 단 한 번의 세션, 단 한 명의 관객을 위해 존재하다가 이후 해체되는 세계를 말합니다. 게임, 교육, 훈련 시뮬레이션, 가상 이벤트 — 이것이 바로 에이전트형 (agentic) + 생성형 (generative) 기술이 실시간 3D와 만나는 지점입니다.

3. 장기적 에이전트 작업 (Long-horizon agentic work)이 입증 가능해지고 있습니다. 모델이 자산을 배치하고, 반복(iteration)하며, 일관된 결과물을 만들어내는 2시간 동안의 자율적 실행은 기업들이 계속해서 요구해 온 바로 그 "AI 직원"의 행동입니다. 에이전트는 단순히 답변한 것이 아니라, 수행한 것입니다.

솔직한 약점: 인지 (Perception)가 병목 구간이다

Karpathy는 또한 이 기술이 한계에 부딪히는 지점을 지적했으며, 이는 진지하게 받아들일 가치가 있습니다:

"세계/게임의 영역은 LLM의 약점을 드러냅니다. LLM은 비디오를 효율적이고 네이티브하게 인지하거나 그 안에서 게임을 플레이할 수 없기 때문에 자신의 작업을 쉽게 감사(audit)할 수 없습니다."

Opus 5는 자신의 출력을 확인하기 위해 서로 다른 시점에서 스크린샷을 천천히 찍어야 했고, 그럼에도 여전히 "엉성한 결과물 (a bunch of jank)"을 만들어냈습니다. 원시 멀티모달 능력 (Raw multimodal capability) — 즉, 자신이 구축한 것 내부를 실제로 보고 플레이하는 능력 — 은 여전히 결여되어 있습니다. 이것이 "세계를 생성하는 것"과 "세계를 유지하는 것" 사이의 간극입니다.

우리가 주목해야 할 경계선은 바로 여기입니다. 모델이 비디오/게임 상태를 네이티브하게 인지할 수 있게 되는 순간, 자기 수정 루프 (self-correction loop)가 완성되고 엉성함은 사라질 것입니다. 모든 프런티어 연구소 (frontier lab)들이 정확히 이 지점을 쫓고 있습니다.

이것이 빌더(Builders)들에게 의미하는 바

• AI 제품을 구축하고 있다면: 단발성 질의응답 (single-turn Q&A)이 아니라, _장기적이고 예산이 높은 에이전트 실행 (long-horizon, high-budget agent runs)_을 설계하기 시작하세요. 흥미로운 영역은 "에이전트에게 예산과 기묘한 제약 조건을 주고, 스스로 실행하게 하는 것"입니다.
• 게임/3D 분야에 있다면: "덧없는 세계 (ephemeral world)" 패턴을 주목하세요. 세션 범위 내에서 LLM이 생성하는 환경은 생각보다 가까이 와 있습니다. 병목 현상은 생성 (generation)이 아니라 인지/감사 (perception/auditing)에 있습니다.
• 모델을 선택하고 있다면: 단순한 벤치마크 차이보다 토큰당 비용 (cost-per-token)과 컨텍스트 윈도우 (context windows)가 더 중요합니다. Karpathy는 이를 플래그십이 아닌, 입력 1M 토큰당 5달러 수준의 "데일리 드라이버 (daily driver)" 티어인 Opus 5에서 실행했습니다. 저렴하고, 길며, 자율적인 실행이 이제 진정한 워크로드 (workload)입니다.

Daily AI pulse and analysis at sinobot.dev

태그: AI, 대규모 언어 모델 (Large Language Models), 에이전트형 AI (Agentic AI), 생성형 3D (Generative 3D), 기술 (Technology)