1. Meta를 떠나 새로운 회사를 선택하다 (00:00 - 05:45)

• [ 00:06] 진행자: 오늘 샌프란시스코에 왔습니다. 게스트는 오랜 친구인 Tian Yuandong입니다. Meta FAIR의 전 연구 총괄(Research Director)로서, 반년 만에 새로운 행보를 공식 발표했습니다. 다른 7명의 최정상급 연구원들과 함께 새로운 AI 기업인 **Recursive Superintelligence (약칭 RSI)**를 설립했으며, 6억 5천만 달러의 투자를 유치하고 기업 가치는 46억 5천만 달러로 평가받았습니다. 지난 반년 동안 AI 지형이 급격히 변했는데, 왜 자본은 아무런 제품이 없는 상태에서도 이토록 열광하는 걸까요?
• [05:43] Tian Yuandong: 최정상급 자본은 결국 사람을 봅니다. 사실 반년 전 인터뷰를 할 때 이미 거의 결정된 상태였고, 이는 비교적 빠른 결정 과정이었습니다. 당시에는 휴대폰이 터져 나갈 정도였고, 정보가 너무 많아 도저히 다 대응할 수 없을 정도였습니다.
• [03:49] Tian Yuandong: 마지막에 RSI를 선택한 이유는, 현재 대세가 팀의 소형화, 속도의 가속화, 내부 마찰의 감소로 향하고 있기 때문입니다. 이렇게 '작고 명확한' 팀이 일을 성사시키는 것이 이미 큰 흐름이 되었습니다. 만약 대기업에 계속 머물렀다면, 아마 적합하지 않았을 것입니다.
• [04:12] Tian Yuandong: 저는 많은 대규모 팀의 문제점을 목격해 왔습니다. 당시 Anthropic, xAI, Amazon, Apple, Microsoft 모두 저를 찾아왔었습니다. 하지만 두세 달 뒤에 저를 찾아왔던 많은 임원들이 스스로 퇴사했습니다. 대기업은 조직 구조가 무겁고 인원이 너무 많습니다. CEO는 성공을 매우 갈망하기 때문에 많은 명령과 지시를 내리는데, 대규모 팀은 상부의 요구에 적응하고 하부 직원들의 생각을 조율(Alignment)하는 데 엄청난 시간을 소비해야 합니다. 조직의 소통 속도가 AI의 발전 속도를 전혀 따라가지 못하고 있습니다. 그래서 대기업들은 빈번하게 조직 개편(Reorg)과 해고를 진행합니다. 저는 Meta에서 거의 11년 동안 머물렀기에 이러한 페인 포인트(Pain point)를 몸소 체감했습니다.
• [06:47] Tian Yuandong: 다른 스타트업 팀들이 저를 찾아온 많은 이유는 핵심 직원을 채용하고 싶어 하거나, 저를 Head of AI 또는 Head of Research로 영입하고 싶어 했기 때문입니다. 하지만 저에게 있어 창업을 한다면, 저는 공동 창업자(Co-founder)의 신분으로 합류하기를 더 원합니다.

2. 황금 창업자 팀의 배경 (05:45 - 14:03)

• [07:49] Tian Yuandong: RSI에는 8명의 공동 창업자(Co-founder)가 있습니다. 우리의 CEO는 Richard Socher인데, 그는 이전에 MetaMind을 설립하여 Salesforce에 인수되었고, Salesforce에서 4년 동안 수석 과학자(Chief Scientist)로 재직했습니다. 그 후 검색 엔진인 u.com을 창업했으며, 현재도 수익을 내며 잘 성장하고 있습니다.
• [08:11] Tian Yuandong: 또한 Mingxiong Cai가 있는데, 그는 이전에 Richard와 함께 MetaMind에서 일했으며, 인수 후 Salesforce Research에서 10년 이상 근무하며 수석 부사장(Senior VP)을 역임했습니다.
• [08:31] Tian Yuandong: 그리고 Tim Rocktäschel이 있습니다. 그는 이전에 FAIR에서 제 동료였으며, 이후 UCL에서 교수로 재직했습니다. 또한 JF Chrome도 있는데, 그들의 팀은 에이전트(Agent) 분야에서 10년 동안 깊게 연구해 왔으며, 최근 AI Scientist V2에 관한 논문이 Nature 잡지에 게재 승인되었습니다. 이 방향에 있어 그의 학술적 영향력과 기술적 축적은 매우 깊습니다.

3. 핵심 로드맵: 재귀적 자기 개선과 AI 자동화 과학 연구 (14:03 - 19:38)

• [15:41] 진행자: 현재 Google과 같은 최첨단 대규모 언어 모델(LLM)의 주류 방식은 여전히 인간이 모델 구조를 설계하고, 데이터를 수집하며, 대규모 학습 및 인위적인 라벨링 정렬(RLHF)을 수행하는 것에 의존하고 있습니다. 당신은 이 경로에서 인간이 병목 현상(Bottleneck)이 되고 있다고 생각합니다. 여러분이 베팅하고 있는 것은 AI가 연구 개발 과정을 자동화하도록 만드는 "재귀적 자기 개선(Recursive Self-Improvement)"인데, 이를 어떻게 구현할 계획인가요?
• [16:04] Tian Yuandong: 현재의 AI 연구 개발은 연구원(인간)에게 고도로 의존하고 있습니다. 하지만 우리의 궁극적인 목표가 AGI(수치 10으로 설정)라면, 사실 현재 업계 전체는 대략 1에서 2 정도의 위치에 와 있습니다.
• [16:30] Tian Yuandong: 인류의 과학 연구 과정 자체가 모델링될 수 있다면, 왜 목표를 더 멀리 잡지 않겠습니까? 우리가 첫 번째 단계로 해야 할 일은 AI 과학 연구의 자동화입니다. AI를 활용하여 AI 자체의 요소를 최적화함으로써, 모델이 스스로 코드를 수정하고, 새로운 법칙을 찾아내며, 심지어 인간이 생각지 못한 일련의 과학 실험을 설계하고 완료하도록 만드는 것입니다. AI를 통해 새로운 기초 과학 발견을 창출함으로써, 전 세계 기술 진보의 속도를 높이는 것입니다.

4. 재귀적 진화 과정에서의 설명 가능성과 안전성 (19:38 - 22:50)

• [19:38] 진행자: AI가 스스로 자신의 코드나 가중치(Weights)를 수정하고, 스스로 실험을 설계하기 시작할 때, 코드와 모델의 "설명 가능성 (Interpretability)"이 더욱 어려워지지 않을까요?
• [20:09] Tian Yuandong: 그것은 매우 중요하며, 이전보다 훨씬 더 중요해졌습니다. 한편으로는 안전 (Safety) 측면 때문인데, 우리가 재귀적 자기 진화 (Recursive Self-evolution)를 수행할 때 핵심 전제는 "안전한 초지능 (Safe Superintelligence)"을 만드는 것이어야 합니다.
• [20:26 ] Tian Yuandong: 만약 모델의 내부 메커니즘을 깊이 이해하고 있다면, 모델이 경계를 넘어서거나 특정 지점에서 붕괴 (Collapse)할 때, 우리는 설명 가능성을 통해 왜 실패했는지, 왜 악의적인 행동을 하는지 이해할 수 있습니다. 우리는 심지어 또 다른 모델을 심판으로 사용하여, 해당 모델이 좋은 모델인지 실시간으로 검증하고 감독할 수도 있습니다.

5. "언어는 사고의 본질이 아니다"와 Coconut 패러다임 (22:50 - 31:54)

• [25:32] Tian Yuandong: 세계 모델 (World Model)에 대해 이야기하자면, 저는 언어 (Language)가 시각과 비교했을 때 여전히 더 많은 신호를 가지고 있으며, 이산적 기호 (Discrete Symbol) 특성을 더 많이 갖춘 것이라고 생각합니다.
• [25:40] Tian Yuandong: 많은 사람이 현재 Coconut과 같은 새로운 추론 경로에 주목하고 있는데, 이는 "언어가 사고의 본질이 아니다"라는 점을 시사합니다. 현재 일부 최첨단 경로에서는 확산 모델 (Diffusion)의 연속적 잠재 공간 (Latent Space)과 대규모 언어 모델 (LLM)의 동적 특성을 결합하려는 시도를 하고 있습니다. AI의 사고 반복 속도와 병렬성이 진정으로 올라가는 순간, 그 진화는 분명 더 빨라질 것입니다.
• [29:22] Tian Yuandong: 또한 능력 향상 측면에는 사전 학습 (Pre-training)과 강화 학습 (RL)이라는 두 가지 길이 있습니다. 저의 관점은 이렇습니다: 사전 학습의 상한선이 사실상 강화 학습의 상한선을 결정한다는 것입니다. 만약 베이스 모델 (Base Model)의 세계에 대한 인지와 상식이 부족하다면, RL이 나중에 아무것도 없는 상태에서 고차원의 복잡한 일반화 능력을 탐색해내기는 매우 어렵습니다. 물론 이것은 저 개인의 의견이며, 틀릴 수도 있습니다 (웃음).

5.1. 상업화 계획과 왜 "지금"인가 (31:54 - 42:36)

1. RSI의 연구 개발 경로와 상업화에 대한 고민

• 첫 번째 단계: 자동화된 과학 연구 (AI for Research)에 베팅: RSI는 전통적인 대기업들처럼 처음부터 범용 상업 애플리케이션에 뛰어들지 않고, "AI가 과학 연구를 자동화하도록 만드는 것"을 첫 단계로 삼았습니다. Tian Yuandong은 과학 연구 과정(가설 제기, 실험 설계, 코드 수정, 데이터 분석 포함) 자체를 모델링할 수 있다면, AI가 스스로 진화하며 엄청난 생산성 증폭 효과를 낼 수 있다고 생각합니다.
• 연구에서 상업화로 이어지는 폐쇄 루프 (Closed Loop): AI가 코드 작성과 실험 반복을 가속화할 수 있게 되면, 팀의 전체 연구 개발 속도는 기하급수적으로 향상됩니다. 이러한 효율적인 저층부 연구 모델은 스스로를 개선할 수 있을 뿐만 아니라, 매우 강력한 범용 추론 및 문제 해결 능력을 축적하여 결과적으로 외부 수직적 영역(Vertical Domain)으로 상업적 가치를 방출할 수 있습니다.

2. 왜 지금이 RSI를 하기에 가장 좋은 시기인가?

• 대기업의 소통 및 조직 구조 결함: Tian Yuandong은 Meta, Anthropic, xAI와 같은 대기업들이 팀의 급격한 팽창으로 인해 CEO가 매우 불안해하며 빈번하게 전략을 수정하는 경향이 있다고 언급했습니다. 이로 인해 기초 엔지니어들이 조직 차원의 "정렬 (Alignment)"에 막대한 시간을 소비하게 되어, 소통 비용이 극도로 높아지고 내부 소모가 심각해집니다.
• 소규모 팀 (Neo-labs)의 효율성 신화: 현재 DeepSeek 등과 같은 대규모 언어 모델 (LLM) 기술은 정예화된 소규모 팀이 자원 독점을 깨뜨릴 능력이 충분함을 증명했습니다. 빠르게 반복되는 AI 시대에 소규모 엘리트 연구소의 유연성, 낮은 소통 마찰, 그리고 매우 빠른 의사결정 속도는 전통적인 대기업을 훨씬 능가하는 조직 효율성을 창출할 수 있습니다.

5.2. 차세대 AI 연구소 생태계: SSI, AMI Labs 및 Ineffable (42:36 - 50:42)

Tian Yuandong은 인터뷰를 통해 실리콘밸리에 현재 등장하고 있는 몇몇 최고 스타급 Neo-lab들을 횡단적으로 점검하고 심도 있게 비교했습니다:

5.3. 사전 학습 (Pre-training) VS 강화학습 (RL): 능력 향상의 두 가지 경로 (50:42 - 52:35)

Tian Yuandong은 현재 최첨단 모델 능력의 도약에 대해 매우 중요한 기술적 통찰을 제시했습니다:

• 사전 학습 (Pre-training)이 상한선을 결정한다: Tian Yuandong은 "사전 학습의 상한선이 사실상 강화학습 (RL)의 상한선을 결정한다"라고 명확히 지적했습니다. 만약 베이스 모델이 사전 학습 단계에서 세계의 법칙에 대해 충분한 "깨달음 (Grokking)"과 일반화된 표현 능력을 갖추지 못한다면, 후기 단계의 강화학습에서 아무리 정렬을 하고 문제를 풀어내더라도 그것은 단지 "암기"하거나 국소적인 최적화를 수행하는 것에 불과하며, 질적인 돌파구를 마련하기 어렵습니다.
• 두 경로의 협업: 사전 학습은 모델의 지식 경계와 잠재적 인지 공간을 확장하는 역할을 담당합니다. 반면 강화학습은 탐색 (Search), 추론 (Reasoning), 그리고 보상 모델 (Reward Models)을 통해 베이스 모델에 축적된 이러한 암묵적 능력들을 최대한으로 끌어내고 정렬하는 역할을 합니다. 이 둘은 기초와 건축물의 관계와 같습니다.

5.4. 데이터의 향후 방향: 합성 데이터 (Synthetic Data)와 지속 학습 (Continuous Learning) (52:35 - 01:01:10)

• 고품질 공개 웹 데이터의 고갈: 실리콘밸리에서는 고품질의 인간 텍스트 데이터 보너스가 거의 바닥나고 있다는 점에 공감하고 있습니다. 단순히 더 많은 공개 웹 코퍼스를 쌓아 올리는 것만으로는 모델 성능의 선형적 향상을 가져올 수 없습니다.
• 합성 데이터 (Synthetic Data)의 도전 과제: AI가 생성한 데이터로 AI를 학습시키는 것은 필연적인 추세이지만, Tian Yuandong은 맹목적인 합성 데이터 사용이 모델을 "환각의 자기 증폭" 또는 "모드 붕괴 (Mode Collapse)"에 빠뜨릴 수 있다고 강조했습니다. 핵심은 형식 검증 (예: 수학 증명 Lean, 코드 컴파일러)이나 고강도의 멀티모달 물리 세계 피드백을 활용하여 합성 데이터에 대해 엄격한 품질 필터링과 교차 검증을 수행하는 것입니다.
• 지속 학습 (Continuous Learning)을 통한 돌파구: 모델은 몇 달마다 전체를 다시 사전 학습해야 하는 전통적인 패러다임에서 벗어나야 합니다. "환경 및 사용자와의 상호작용 속에서 이전 지식을 잊지 않으면서 점진적으로 학습하는 지속 학습"을 구현해야 하며, 이것이 데이터 병목 현상을 해결하고 AGI를 실현하기 위한 필수 경로입니다.

5.5. 최첨단 대규모 모델 경쟁, 조직 구조 및 인재 쟁탈전 (01:01:10 - 01:18:38)

• 인재 쟁탈전: RSI는 현재 약 25명 규모입니다 (런던과 샌프란시스코에 나누어 근무). Tian Yuandong은 그들이 현재 알고리즘을 이해할 뿐만 아니라 로우 레벨 엔지니어링 (Low-level Engineering)을 직접 수행할 수 있으면서, 미지의 경로에 대해 매우 강한 호기심을 가진 "올라운더 연구원"을 채용하는 경향이 있다고 언급했습니다.
• xAI와 대규모 모델 전쟁의 본질: Elon Musk의 xAI 등 경쟁자들을 언급하며, Tian Yuandong은 현재 최첨단 대규모 모델의 경쟁은 표면적으로는 연산 능력 (Compute)과 모델의 대결이지만, 본질적으로는 이미 조직 구조와 관리 효율성의 전쟁으로 변했다고 날카롭게 지적했습니다. 어떤 구조가 내부 소모를 줄이고 과학자와 엔지니어의 산출 효율을 극대화할 수 있느냐에 따라, 이 수천억 달러 규모의 소모전에서 누가 먼저 새로운 패러다임을 제시할지가 결정될 것입니다.

6. 직장 "증류 (Distillation)"와 평범한 사람들의 현대적 생존 법칙 (01:18:38 - 01:29:28)

• [01:18:38] 진행자: 현재 많은 대기업(Big Tech) 엔지니어들이 거대한 압박에 직면해 있습니다. 여기에는 이전에 Meta에서 논란이 되었던 직원의 경험을 AI에게 전수(증류, Distillation)한 뒤 인력을 최적화하는 방식도 포함됩니다. AI가 고용 시장에 엄청난 충격을 주고 있으며, 모두가 자신이 도태되는 부품(Screw)이 될까 봐 걱정하고 있습니다. 현재의 직업적 변화에 대해 어떻게 생각하시나요?
• [01:19:10] Tian Yuandong: 거대 모델(Large Model)과 AI 코딩(AI Coding)의 성숙은 하나의 큰 트렌드를 가져왔습니다. 이는 마치 '흡성대법'과 같습니다. 대기업에서 가장 골치 아픈 문제인 정보의 분산, 불완전한 문서화, 너무 복잡한 코드 문제를 빠르게 처리하고, 직접적으로 올바른 컨텍스트(Context)와 판단을 제공할 수 있습니다. 이로 인해 단순 실행이나 전통적인 코드 잡무를 수행하는 일반적인 레벨 4, 레벨 5 엔지니어에 대한 기업의 수요는 확실히 급격히 줄어들고 있습니다.
• [01:20:00 ] Tian Yuandong: 저는 비유를 하나 들고 싶습니다. 현재의 직장은 마치 '점점 말라가는 물웅덩이 속에서 뛰어오르는 물고기'와 같습니다. 당신은 항상 대기업 A에서 대기업 B로 옮겨가며 새로운 안식처를 찾을 수 있을 것이라 생각합니다. 하지만 전체적으로 보면, 외부의 '물'(즉, 전통적인 일자리와 보너스/수혜 공간)은 점점 줄어들고 있으며, 당신은 머지않아 뛰어오를 곳이 없는 상황에 처하게 될 것입니다.
• [01:21:15 ] Tian Yuandong: 이러한 생존 환경 속에서, 당신은 결국 기존의 선형적 기술 사고방식을 깨뜨리고 스스로를 '4차원 생물'로 만들어야만 물이 줄어드는 미래 세계에서 살아남을 수 있습니다. 즉, AI가 대체할 수 없는 더 높은 차원의 전역적 조직 능력(Global Organizational Ability), 경계를 넘나드는 통찰력(Cross-domain Insight), 또는 장기적인 과학 연구 판단력(Research)을 찾아 자신만의 독특한 의미를 발견해야 합니다.

7. 조직 효율성 대격돌과 RSI 팀 문화 (01:23:35 - 종료)

• [01:23:35] Tian Yuandong: 현재 OpenAI, Google, xAI와 같은 Frontier Lab(프런티어 연구소) 간의 첨단 대규모 모델(Large Model) 경쟁은, 결국 마지막에 가면 조직 구조(Organizational Structure)의 싸움으로 변하게 됩니다. 조직 구조가 더 가볍고, 내부 손실이 적으며, 전략적 조정이 하루 이틀 내에 정렬(Alignment)될 수 있는 곳이 승리할 것입니다. 이번 기술 혁명에서 조직 효율성(Organizational Efficiency)은 매우 거대한 역할을 수행하고 있습니다.
• [01:29:28 ] Tian Yuandong (진행자와 함께 사무실을 둘러보며): 저희는 약 두 달 전 샌프란시스코 시내의 이 새로운 사무실로 이사했습니다. 현재 전체 팀원은 약 25명 정도이며, 2/3는 샌프란시스코에, 1/3은 런던에 있습니다.
• [01:30:42 ] Tian Yuandong: 이곳에는 별도의 개인 대표실이 없으며, 모두가 오픈된 대형 공간(Open Space)에 앉아 있고 저 또한 구석에 앉아 있습니다. 저희의 목적은 가능한 한 회의를 열지 않는 것입니다. 일이 생기면 모두가 앉아서 직접 소통하여 빠르게 해결하며, 이는 대기업(Big Tech)과는 매우 큰 차이점이 있습니다.
• [01:31:19 ] 진행자: 이전에 Andrej Karpathy와 이야기했을 때, 연구원들이 사무실에 사우나를 설치해 달라고 강력히 요구했다고 하더군요 (웃음). 이곳에는 어떤 시설이 있나요?
• [01:31:22 ] Tian Yuandong: 저희는 아직 그 정도로 고급스럽지는 않지만, 생각을 정리하거나 가볍게 한 게임 즐길 수 있는 탁구대가 하나 있습니다. 비록 현재 Sony 등의 기업 로봇들이 탁구를 매우 잘 치긴 하지만, 사람들이 평소에 실력을 겨루며 교류하는 것도 꽤 좋습니다.

전체 영상은

에서 시청하실 수 있습니다.