https://www.youtube.com/watch?v=VGIbhIW5ljk

전체 제목: 《AI의 자가 진화와 '발견 모델': Anthropic 코드의 80%가 자체 작성된 배경, Apodex의 두 일선 연구원이 말하는 RSI, 검증 및 과학적 안목》

제1부｜도입: Anthropic의 코드 80% 자체 작성 인정, RSI가 실리콘밸리의 핫 키워드로 부상 (약 0% – 6%)

1 이번 주제의 발단: Anthropic은 현재 코드의 80%가 Claude에 의해 직접 작성되었음을 인정함과 동시에, AI가 곧 '재귀적 자기 개선 (RSI, Recursive Self-Improvement)' 단계에 진입할 수 있다는 경고를 보냈습니다. 즉, AI가 스스로 다음 세대 AI를 설계하고 훈련하는 것으로, 이는 올해 실리콘밸리에서 모델의 능력에 대해 가장 뜨겁게 논의되는 방향 중 하나입니다.
2 게스트 및 회사 배경: 이번 회차의 두 게스트는 천텐차오(Chen Tianqiao)가 출자하여 설립하고 직접 주도한 Apodex 출신입니다. 이 회사는 특수한 포지셔닝을 취하고 있습니다. 이미지 생성이나 비디오 생성을 하지 않고, 오직 'Heavy Duty Solver'만을 지향하며, 정답이 없거나 인간조차 어디서부터 손을 대야 할지 모르는 난제들을 전문적으로 해결하고자 합니다. 그들이 만들고자 하는 모델은 'Discovery Model (발견 모델)'로, 인간이 생각하지 못한 가설을 제시하고 스스로 검증하며 해결되지 않은 과학적 난제를 해결하는 것을 목표로 합니다. 회사명 Apodex는 그리스어 '증명/논증'에서 유래되었습니다.
3 진행자의 핵심 관심사: 만약 AI가 스스로를 가르칠 수 있다면, 인간 과학자에게 남은 것은 무엇인가? 모델이 자가 진화할 때 경로를 벗어나지 않도록 어떻게 보장할 것인가? Beibin은 스스로를 '증류(Distillation)'하겠다는 생각을 언급하여, 진행자로 하여금 순간적으로 '다음 순간에 일자리를 잃을 수도 있겠다'는 느낌을 받게 했습니다.

제2부｜게스트 소개 + RSI / 자가 진화는 새로운 개념인가? (약 6% – 16%)

1 두 게스트의 신분:

• Simon (Du Shaolei): 워싱턴 대학교 컴퓨터공학과 부교수, Apodex 수석 과학자, 훈련 및 추론(Reasoning) 방향 담당.
• Li Beibin (Beibin): Apodex 수석 과학자, 코드 및 자가 진화 방향 담당.
  2 사전 훈련(Pre-training)/사후 훈련(Post-training)/코딩(Coding)/DeepResearch에서 자가 진화(Self-evolve)로 이어지는 맥락: Simon은 핵심은 동일한 것이 향상되고 있는 것이라고 봅니다. 즉, 추론 능력, 긴 체인 추론(Long-chain reasoning), 환경에서의 탐색 $\rightarrow$ 신호 획득 $\rightarrow$ 재탐색의 과정이며, DeepResearch든 Coding이든 핵심은 같고 방향의 미세한 차이일 뿐입니다.
  3 자가 진화는 새로운 개념이 아님: Beibin은 과거를 회상합니다. 80~90년대에도 AI self-evolution에 대한 논의가 있었으며, 순수 언어 모델(Language Model)의 자가 진화는 3년 전 Google의 'LLM as Optimizer' 논문까지 거슬러 올라갈 수 있습니다. 그는 AutoGen 시절에 'Agent Optimizer'를 수행한 적이 있으며, xAI 시절에는 Agentic RL 및 MCP Tools를 다루었습니다.
  4 올해 RSI가 갑자기 폭발적인 인기를 끄는 이유: 모델의 능력이 올라가면서 '코드 작성' 능력이 강해지면, 훈련을 위한 합성 데이터(Synthetic data), 데이터 정제, 훈련 코드, 인프라(Infra) 코드가 모두 코드 형태로 존재하기 때문에 모델의 자기 개선이 매우 자연스럽게 이루어집니다. 연초 Andrej Karpathy가 발표한 AutoResearch 프로젝트가 이 개념에 완전히 불을 지폈습니다.

제3부｜RSI와 '장기 과제(Long-range tasks)': 재귀적 방식 vs 과거의 자가 진화 (약 16% – 28%)

1 RSI에서 R = Recursive의 의미: Beibin의 설명에 따르면, 자가 진화는 하나의 고리(모델이 스스로 문제를 찾고 $\rightarrow$ 문제를 출제하고 $\rightarrow$ 해답을 내고 $\rightarrow$ 스스로를 훈련함)와 같습니다. RSI는 '수직적 재귀 방식'으로 상향 성장하며, 기존의 self-evolution과의 차이점은 '여러 번 더 높게' 올라갈 수 있다는 점에 있습니다.
2 올해 재귀(Recursive) 방식이 통하는 이유: 과거의 LLM as Optimizer는 약 23시간 정도만 스스로를 최적화할 수 있었고, 시간이 길어지면 편차(Bias)가 누적되어 붕괴되었습니다. 하지만 올해의 모델은 장기 과제(Long-range tasks)를 처리할 수 있기 때문에 여러 차례 재귀적으로 수행할 수 있습니다.
3 Claude 능력 배가 데이터: 2024년 3월 Claude 3 Opus $\approx$ 인간의 4분 과제 $\rightarrow$ 1년 후 3.7 Sonnet $\approx$ 1.5시간 $\rightarrow$ 다시 1년 후 Claude 4.6 Opus $\approx$ 12시간. 업계의 대략적인 합의는 '모델이 수행할 수 있는 인간의 시간이 7개월마다 두 배로 늘어난다'는 것이며, 이는 무어의 법칙보다 빠릅니다.
4 장기 과제(Long-range tasks)의 정의: 단일 단계(예: 오타 교정)가 아니라, 계획 $\rightarrow$ 실행 $\rightarrow$ 검증 $\rightarrow$ 재계획으로 이어지는 십수 단계의 체인을 의미합니다. 인간은 2030시간이 걸리지만, 모델은 감독 없이도 이를 완수할 수 있습니다.
5 장기 과제의 세 가지 기술적 난제 (Simon + Beibin):

• 아키텍처 (Architecture): 전통적인 Self-attention은 O(n²)의 복잡도를 가지며, 백만 토큰 컨텍스트 추론 비용이 매우 높습니다. GDN, GDNv2, DeepSeek-V4 Pro와 같은 기존 솔루션들은 각자만의 아키텍처를 가지고 있습니다.
• 훈련 데이터 (Training Data): 백만 토큰 컨텍스트 추론 자체는 어렵지 않으나, 사전 훈련 (Pre-training) 또는 사후 훈련 (Post-training) 데이터로 이를 채우기가 매우 어렵습니다 (《해리 포터》 시리즈 여러 권을 합쳐야 백만 토큰이며, 최대 규모의 코드 저장소도 충분하지 않을 수 있음). 이로 인해 분포 외 데이터 (OOD, Out-of-Distribution) 문제가 발생하기 쉽습니다.
• 인프라 (Infra): GPU 커널 (Kernel) 최적화, 훈련 및 테스트 시의 인프라 구축 난이도가 지수적으로 상승합니다.
  6 에이전트 (Agent) 아키텍처 보충 (Simon): 100만 토큰의 컨텍스트가 있더라도 진정한 장기 과제 (Long-range tasks)는 여전히 한계를 초과하므로, 초장기 컨텍스트를 처리하기 위한 에이전트 + 메모리 (Memory) 기술이 필요합니다.

제(4)부｜재귀적 드리프트 (Recursive Drift) + Apodex의 검증 방법론 (약 28% – 42%)

1 재귀적 드리프트 (Recursive Drift)의 학술적 난제: 모델이 스스로 생성한 훈련 데이터를 사용할 때, 추론 오류가 세대를 거듭하며 누적됩니다. 설령 정답 결과는 맞더라도 추론 과정이 틀리면, 그 오류가 그대로 상속되어 증폭됩니다.
2 Apodex의 해결책은 검증 (Verification) 중심: 회사명 Apodex는 그리스어로 "증명/논증"을 의미하며, 슬로건은 "많은 AI 시스템이 답을 생성하면, Apodex가 이를 검증한다"입니다.
3 분야별 검증 방법:

• 코드 (Code): 유닛 테스트 (Unit Test)는 규칙 기반 (Rule-based)이지만, 테스트 케이스가 너무 넓거나 좁게 설정되는 미세한 드리프트 문제가 존재합니다.
• 수학 (Math): Lean 형식 증명 (Formal Proof).
• 개방형 질문 (인간의 판단에 의존): 에이전트 팀 (Agent Team) 활용.
  4 에이전트 팀 (Agent Team) 아키텍처 세부 사항 (Beibin):
• 문제 분해 → 여러 개의 하위 에이전트 (Sub-agent)가 문제를 풀고, 또 다른 하위 에이전트 그룹이 별도로 검증합니다 (컨텍스트 간섭을 피하기 위해 두 그룹을 분리하며, 이 방식의 효과가 훨씬 뛰어납니다).
• 중복 설계 (Redundancy Design): 동일한 문제에 대해 여러 에이전트가 작업하고, 전체 에이전트 (Global Agent)가 어떤 것이 더 정확한지 판단합니다. 이는 단일 에이전트보다 훨씬 우수합니다 (중복 설계 사상은 컴퓨터 역사에서 오래된 개념입니다).
  5 훈련 시 검증 능력 특화 훈련: 에이전트가 정보원의 신뢰성(포럼 vs 교과서)을 판단하게 합니다. 강화학습 (RL) 시 판사 (Judge) 모델도 함께 학습시켜 보상 해킹 (Reward Hacking)을 방지합니다.
  6 한 회사의 RSI/검증 능력이 진짜인지 판단하는 법: Beibin이 제시한 판단 프레임워크—
• 기술적 측면: 기초 코드/인프라/훈련 수준이 기준에 부합하는가.
• 의지 측면: 자가 진화에서 강화해야 할 지점을 인지하고 있는가.
• 세부 사항 심층 논의: 하네스 (Harness, 스캐폴딩)의 진화는 해자 (Moat)가 낮습니다 (API만 호출하면 되므로 오픈소스나 학계에서도 가능). 하지만 사후 훈련/사전 훈련의 자가 진화는 막대한 자원이 필요하며 매우 어렵습니다. 공개된 AutoResearch 벤치마크 점수를 높이는 것이 반드시 제품 수준의 확장성 (Scalable)을 의미하지는 않습니다.
  7 Apodex의 세 가지 병행 전략: 사전 훈련 (데이터 수집/정제 자가 진화) + 사후 훈련 (진단 → 레시피 생성 → 자가 훈련 → 검증 → 재진단) + 하네스 (두 발이 교차하며 움직이듯, 사후 훈련의 진화가 하네스의 진화를 견인하며, 이 둘은 분리하기 어렵습니다).

제(4)부 보충｜DeepResearch는 자기 재귀의 중요한 고리 (약 42% – 50%)

참고: 이 부분은 원고상 위 검증 섹션과 이어지지만, 주제가 DeepResearch로 전환되므로 별도로 분리하여 명확히 합니다.

1 검색 능력은 사후 훈련의 본질적 능력: 모델의 약점을 발견 → 그에 맞는 과제와 정답 생성 필요 → 과제 생성은 검색(말뭉치/코드/자료)에 크게 의존함. 따라서 DeepResearch는 매우 범용적인(General) 능력이며, 이것이 Apodex가 DeepResearch를 먼저 수행하는 이유입니다.
2 Apodex 기반 모델 출처: Qwen 3.5 위에서 사후 훈련을 진행합니다. 원자적 능력(Atomic capabilities)은 계획, 검색, 에이전트 팀 협업에 집중하여 특화합니다. 사전 훈련은 개발 중이며, 향후 전체 파이프라인(사전 훈련 → 완성품 → 제품)을 갖출 예정입니다.
3 벤치마크 성과 (Simon): BrowseComp (OpenAI 출시, 까다로운 검색 문제), DeepSearchQA, Frontier Science (연구 계획 수립)에서 모두 SOTA를 달성했으며, 폐쇄형 모델보다 뛰어난 성능을 보였습니다.
4 벤치마크 오염 방지: 평가 시 GitHub 등 정답을 검색할 수 있는 사이트를 능동적으로 차단합니다. 오염이 심한 벤치마크는 아예 보고하지 않습니다.
5 "똑똑한 AI도 서로 체크하는 팀을 이길 수 없다": Beibin의 관점 — Self-attention의 본질적인 한계로 인해 컨텍스트가 길어질수록 어텐션(Attention)이 분산되며, 선형 어텐션 (Linear Attention)으로도 이를 해결할 수 없습니다. 인간에게 종이와 펜이 필요하듯 에이전트도 마찬가지이며, 다중 에이전트 + 메모리 메커니즘이 필요합니다. 엔지니어링 능력 vs 모델 능력 = 1+1>2의 관계입니다. 모델이 일정 수준에 도달하면 에이전트 최적화를 통해 도약할 수 있고, 에이전트가 정점에 도달하면 모델 자체의 향상을 통해 도약할 수 있습니다.
6 창업자를 위한 시사점 (Hongjun의 질문): 수직적 영역에서 에이전트 엔지니어링을 극한까지 끌어올리고 다중 하위 에이전트 간 상호 검증을 구현한다면, 기초 모델(Foundation Model)의 업그레이드로 해자가 쉽게 무너지지 않을 것입니다. 다만, 모델이 매달 새로 출시되므로 하네스는 새로운 모델의 "취향/행동"에 맞춰 미세 조정(Fine-tuning) 및 적응을 지속해야 합니다.

제(5)부｜Discovery Model(발견 모델) vs Generative Model(생성 모델) (약 50% – 62%)

1 Apodex의 장기 비전: 단순한 챗봇이 아닌, 어려운 문제를 해결하는 Heavy Duty Solver를 지향함. 경제적 논리는 '토큰(token)의 가치를 파는 것 << 인류가 풀지 못한 문제 자체를 해결하는 가치'에 있음. 진입 분야로는 먼저 바이오 의약품(신약 개발/타겟 발견/약물 재창출/질병 진단)을 공략하며, 내부에는 가장 어려운 문제를 선별하기 위한 HDD(Heavy Duty Discovery) 팀을 운영 중임.
2 Discovery Model과 Generative Model의 근본적인 차이 (Beibin):

• 생성 모델 (Generative Model): 이미 알려진 정보로부터 답을 찾음.
• 발견 모델 (Discovery Model): 인간이 생각하지 못했던 가설을 제안 + 스스로 검증함.
• 두 가지 난제: ① 가설이 OOD(Out-of-Distribution, 학습 데이터 범위를 벗어남)여야 함; ② 가설을 어떻게 검증할 것인가 — 정답이 없고 시뮬레이션이 어려움.
  3 "대담한 가설, 신중한 검증"의 모델 적용: 가설 생성은 상대적으로 쉽지만, 어려운 것은 가설의 품질과 검증의 폐쇄 루프(closed loop)를 만드는 것임. Self-evolution(자가 진화)은 Heavy Duty Solver / Discovery로 나아가기 위한 주요 방법임.
  4 "질문을 할 줄 아는 능력"은 고차원적인 Meta 능력: 현재 SWE-Verified 유형의 문제로 학습하는 모델들은 모두 "문제 해결사"임. 질문을 할 줄 안다는 것은 자가 진단 → 스스로 문제 생성 → 스스로 학습으로 이어지는 Post-training(사후 학습) 루프 내의 능력을 의미하며, 이는 Apodex의 향후 중점 사항임.
  5 학술적 안목 (Taste): 점진적인(incremental, 소위 '물 타기') 문제와 본질적인(fundamental) 문제를 구분해야 하며, 이는 최고 수준의 과학자들과 정렬(align)되어야 함. Chen Tianqiao는 연구원 및 최고 과학자들과 함께 토론하며 통찰력과 데이터를 제공함.
  6 최고 과학자들의 공통점을 계산 방법론으로 전환하는 법: 논문의 수보다는 가장 뛰어난 논문의 품질을 보며 정점을 추구함. 이를 "모델 헌법(Model Constitution)"에 기록함. 학습 방법론으로는 RLHF / SFT / RL을 사용하며, 가장 간단한 방법은 선호도(preference)를 이용하는 것임. 즉, 과학자가 두 문제 중 어느 것이 질 낮은 문제인지 판단하게 하여 모델이 질 낮은 문제를 덜 제안하도록 유도함.
  7 Beibin의 보충 — 가설 제안에 영향을 주는 모델의 두 가지 결함:
• 아첨 (Sycophancy): 사용자가 무엇이라 말하든 맞다고 함, 이로 인해 대담한 가설을 제안하기 어려움.
• 회피 (Hedging): 이럴 수도 있고 저럴 수도 있다는 식의 책임 회피형 답변.
• 근원: RLHF의 선호도 데이터가 인간의 투표에서 오기 때문임. 인간은 본래 "듣기 좋은 말"이나 "형식이 예쁜 Markdown"을 선호하며, 모델에는 이러한 인격이 주입됨.
• Apodex는 ToC(Consumer)용 채팅 모델을 만들지 않으므로 대중의 선호도를 피할 수 있음. 향후 최고 수준의 인간이 선호도 데이터를 라벨링하여 데이터 소스 단계에서 문제를 해결할 예정임.
• 안목의 균형: "아첨하지도 않되, 트집 잡지도 않아야 함". 후자 역시 경계해야 할 대상임. 과하게 학습하면 모델이 억지 부리는 성격(contrarian)이 될 수 있으므로 안목의 균형이 필요함. Anthropic의 방식을 참고한 Constitution AI를 가중치(weight)에 반영하여 모델의 성격을 정의함; 사용자가 틀렸을 경우 이를 교정해야 함.

제(6)부｜경쟁 구도 비교: "AI 과학자" 전장에서 Apodex의 우위 (약 62% – 72%)

1 동일 분야 플레이어: OpenAI는 "대규모 연구 과제를 수행할 수 있는 AI 연구원"을 제1 목표로 설정함; DeepMind는 AlphaFold(노벨상)에서 Gemini Co-scientist로 나아감; Anthropic의 Dario는 "국가급 과학 천재"를 만들고자 함.
2 Apodex의 차별화:

• ToC 채팅 모델을 만들지 않음 → 가중치를 조절할 수 있으며, 사용자의 비위를 맞출 필요가 없음.
• 집중 + 스타트업 문화: Chen Tianqiao가 직접 참여하여 매일 연구원들과 소통하며 방향을 제시함; 조직적 마찰이 적고 실행력이 강해 대기업보다 빠름.
• HDD 팀: 전임 직원이 최고 과학자들과 협업하며 수천 개의 연구 문제 중 가장 가치 있는 것을 선별함 — 제한된 GPU와 인력 하에서는 올바른 문제를 선택하는 것이 무엇보다 중요함.
  3 AI for Science vs Heavy Duty Solver (Beibin의 정리):
• 도메인 특화 모델 (Domain-specific Model): 특정 분야의 방대한 데이터로 학습하여 해당 분야를 전문적으로 공략함.
• HDS (Heavy Duty Solver): 여전히 범용 모델(General Model)이지만, 검증(verification), 분석, 검색, 계획(planning)과 같은 메타 능력(meta-capability) 학습에 집중함. 생물학 데이터를 직접 50%씩 집어넣는 방식이 아님.
• AI for Science와 HDS는 중첩되는 영역이 많으므로, Apodex는 먼저 의약/바이오에 집중함.
  4 Hongjun의 보충 — DeepMind의 경로: 단백질 구조 예측에서 약물-단백질 결합 예측까지, 신약 개발 상류 단계의 계산 영역만 해결했을 뿐 임상까지는 거대한 간극이 있음. 하지만 이 구간만으로도 30억 달러의 투자를 유치함. 과학적 문제는 무궁무진하며(생물/재료/물리/우주), 단 한 기업이 독점할 수 있는 영역이 아님.

제(7)부｜RSI 폐쇄 루프 타임라인 + "Beibin의 정수 추출" 및 경로 이탈에 대한 불안 (약 72% – 86%)

1 Beibin의 원문 재인용: "가장 빠르게는 6개월 내에 RSI 폐쇄 루프의 한 사이클을 돌릴 수 있지만, R(recursive, 재귀적) 단계까지 가려면 1~2년이 더 필요할 것임".

1. '한 순환(一环)'이 의미하는 것: 후속 학습 폐쇄 루프(closed loop)입니다. 모델이 특정 영역(예: 재료 과학 코딩)에서 스스로 코드 문제를 발견하고 → 훈련 환경과 데이터를 구축하며 → 자체 검증을 통해 개선 여부를 확인하고 → 반복합니다. Anthropic의 80% 코드 자가 작성 능력은 신호이지만, '모델의 자가 진화 시 경로 이탈 방지'는 아직 완전히 해결되지 않은 문제입니다.
2. 경로 이탈(Drift)의 두 가지 의미: 안전 측면에서의 경로 이탈 + 목표 측면에서의 경로 이탈입니다 (예: