세르게이 레빈 인터뷰 — 로봇의 "허수아비 문제" (Invest Like the Best)

세르게이 레빈 인터뷰 — 로봇의 "허수아비 문제" (Invest Like the Best)

━━━━
허수아비 문제 (이 인터뷰의 프레임)

· 멋진 물리적 로봇 몸체는 점점 다양·가능해지는데, 다 "지능(뇌)"이 없는 허수아비
· PI가 만드는 건 그 뇌 = 어떤 로봇이든 어떤 작업이든 시키는 파운데이션 모델

━━━━
왜 범용에 베팅하나 (특화 로봇 대신)

· 언어모델 역사: 기계번역·감성분석 따로 만들던 걸 범용 LLM이 다 먹음 — 더 넓은 데이터로 세계를 이해해서
· 로봇은 인터넷급 데이터가 없지만, 그래서 "세계 이해"가 더 중요. 설거지 전문가·빨래 전문가 따로가 아니라 "물리적 상호작용을 이해하는" 한 모델
· "로봇=금속 인간"이 아니라 PC처럼 툴킷 — 천 대의 쿼드콥터 군집이 집을 짓는 것도 로봇. 캄브리아 폭발을 기대

━━━━
휴머노이드 장단점

· 장점: 멋있고 상상력을 자극(옵티머스 손 화제). 미래를 이해시키는 가치
· 단점: 여러 로봇 중 하나일 뿐. 지능은 "몸 하나에 종속"시키면 안 됨 — 불도저·휴머노이드·팔이 다 "하나의 문제"
· 원숭이 도구 실험: 도구 쓰면 뇌가 손끝이 아니라 "도구 끝"을 몸으로 인식 → 지능은 신체에 agnostic해야

━━━━
데이터 (테슬라 비유)

· "얼마나 필요한지 아무도 모르고, 알 필요도 없다" — 쓸 만해서 세상에 나가 스스로 데이터 모으는 시점이 중요
· 테슬라는 데이터 양 걱정 안 함(오히려 너무 많음). 핵심은 플라이휠 점화
· 센서 미니멀리즘: 이 팔은 카메라 3개(손목 2+베이스 1)뿐, 촉각·힘 센서 없음. 손목 카메라가 "변형을 보는 촉각센서" 역할

━━━━
코칭으로 좋아진다 (6개월 전 발견)

· 로봇이 새 부엌서 실패하면 전통적으론 텔레오퍼 데이터 추가
· 그런데 "저수준 행동" 대신 "의미 명령(언어)"만 라벨로 추가해도 일반화 개선
· 병목이 최저수준(물리 실행)에서 중간수준(장면 해석·다음 단계 선택)으로 이동 → 사람이 말로 코칭하면 좋아짐

━━━━
가장 어려운 작업 = 모라벡 역설의 정점

· 아기 기저귀 갈기, 노인 부축, 침대에서 일으키기 — 사람·신체 동시 상호작용이라 의외로 가장 어려움
· "사람을 너무 잘하게 진화해서 쉬워 보이는 것의 정점"

━━━━
비터 레슨 논쟁

· 로봇계 오랜 논쟁: "학습이 로봇 AI에 자리가 있나" → 이제 학습은 수용됨
· 단 "end-to-end 학습(비터 레슨)"은 아직 보편 수용 아님. 반론: "물리 교과서 지식이 있는데 왜 안 넣나"
· 레빈: 일반화(특히 스스로 개선하는 능력) 위해선 주로 데이터에서 학습해야

━━━━
좋은 연구 = 언제 버티고 언제 트나

· 연구는 엔지니어링과 달리 "질문에 답 도달"이 목적, 코너 컷팅 필요
· 가장 미묘한 결정: 새것 시도 vs 하던 것 고수 — 틀리면 답 직전에 멈추거나, 안 될 것에 몇 년 허비
· 위대한 연구자의 공통점? "공통점이 없는 게 공통점". 단 열정은 필수(새로움 추구형/문제해결형 다 가능)

━━━━
개인사·영감

· 컴퓨터그래픽 출신 → 2014 버클리 피터 아빌 박사후과정으로 로봇 입문
· 2015 구글 "arm farm"(로봇 수십 대 모아 집단학습) — 제프 딘이 신참 제안을 바로 승인, "그런 레버리지에 충격"
· 영감: 보스턴다이내믹스(불가능해 보이던 걸 반복 시연), 실험 분위기 조직(오픈AI — ChatGPT도 존 슐먼의 pet project였음)
· 가장 친절했던 일: arm farm 베팅(제프 딘·빈센트), 경력 없는 자신을 받아준 피터 아빌, 대학 2학년 엔비디아 인턴

━━━━
타임라인 입장

· 기성 로봇 연구자 중엔 낙관파, 로봇 창업자 중엔 비관파
· "산 하나 오르면 다음 산이 보인다" — 로봇은 산이 많았음. 단 자기가 겪은 난관의 퍼즐 조각이 맞춰지는 게 보여 낙관
· 지금 집중: 중간수준 추론의 "표현(representation)" — LLM식 텍스트가 아니라 공간적·의미적 표현이 체화 시스템엔 더 맞을 수 있음

━━━━
한 줄

· 로봇의 본질 문제는 몸이 아니라 "뇌(범용 지능)". 레빈은 신체에 종속 안 된 하나의 파운데이션 모델로 풀어 PC식 캄브리아 폭발을 노리고, 데이터 플라이휠 점화 시점이 타임라인의 핵심이라는 게 이 인터뷰의 그림이에요. 가장 어려운 건 역설적으로 기저귀 갈기 같은 사람-신체 상호작용

https://t.co/mHgdT67nOv