10초 비전: 전문가처럼 팬케이크를 뒤집는 로봇의 작동 원리

Long-WAM이 시각적 컨텍스트 스케일링이 실시간 로봇 지능을 실제로 향상시키는 방법을 보여주다

선임 기술 칼럼니스트 작성 – 2026년 10월

주요 내용

“만약 로봇이 자신이 본 지난 10초를 기억할 수 있다면, 떨어지는 컵을 잡는 데 있어 인간만큼 능숙할 것이다.”

이 약속은 2026년 10월 7일, 비교적 소규모의 arXiv 프리프린트(arXiv 2610.10528)를 통해 현실이 되었습니다. 이 논문은 로봇 학습 분야에서 오랫동안 지속되어 온 가정, 즉 더 많은 비디오 프레임이 자동으로 성능을 향상시키지 않는다는 가정을 깨뜨렸습니다—단, 만약 근본적인 비디오 파운데이션 모델(video foundation model)이 자기회귀적(autoregressively)으로 학습하지 않는 한 말입니다. **“Long-WAM: World-Action 모델의 컨텍스트 스케일링”**이라는 제목의 이 논문은 로봇이 완전한 10초 분량의 시각적 히스토리 위에서 추론하면서도 밀리초 단위의 행동 결정을 내릴 수 있음을 보여주었습니다. 이 통찰력은 전 세계 연구실들의 연구 방향을 즉시 재조정했으며, 초장 길이 클립에 대한 순수한 컴퓨팅 파워(compute)에 집중하는 것에서 벗어나, 실제로 행동하기 전에 미리 예측하는 시간적으로 인식된 비디오 백본(video backbones), 토큰 라우터(token routers), 그리고 인과적 예측기(causal predictors)를 구축하는 쪽으로 초점을 옮기고 있습니다.

사례 연구: 주방 보조 로봇이 팬케이크 뒤집기를 시도하다

팬케이크가 지글거리는 프라이팬 위에 놓여 있고, 그 위로 로봇 팔이 위치하여 신호에 맞춰 팬케이크를 뒤집는 임무를 맡았다고 상상해 보세요. 이 로봇은 30 fps의 연속적인 자기중심(egocentric) 비디오 스트림을 받습니다. 단순한 컨트롤러(naïve controller)라면 지난 2초(약 60 프레임)를 샘플링하여 정책 네트워크(policy network)에 입력하고 토크 명령을 내릴 것입니다.

무엇이 잘못될까요?

• 카메라는 증기, 깜빡이는 빛, 그리고 요리사의 손에서 오는 간헐적인 가림(occlusions)을 포착합니다.
• 짧은 클립으로 훈련된 정책은 반죽이 적절한 두께에 도달했는지 여부를 추론할 수 없습니다. 이 정보는 몇 초 전에만 나타나기 때문입니다.
• 로봇은 150ms의 지연 시간(latency)으로 반응하여, 최적의 뒤집기 타이밍을 놓치고 반죽을 흘립니다.

여기에 Long-WAM이 등장합니다.

1. Autoregressive Video Backbone
   각 들어오는 프레임은 40억 개의 인터넷 및 로봇 관련 프레임으로 사전 학습된 마스크드-인과성 트랜스포머(masked-causal transformer)로 토큰화됩니다. 모든 이전 토큰으로부터 다음 토큰을 예측함으로써, 모델은 강력한 시간적 사전 지식(temporal prior)을 학습합니다.

2. Context Router
   10ms마다 2개 레이어 MLP가 마지막 300개의 토큰(영상 10초 분량)에 점수를 매기고, 가장 '행동 관련성(action-relevant)'이 높은 64개의 토큰—일반적으로 반죽의 확장, 가장자리 형성, 그리고 요리사의 손 움직임을 보여주는 토큰들—을 선택합니다.

3. Causal World Predictor
   선택된 토큰들은 이중 분기 동역학 헤드(dual-branch dynamics head)에 공급되어 0.5초, 2초, 그리고 5초 후의 시각적 임베딩을 예측합니다. 결정론적 분기(deterministic branch)는 부드러운 반죽 상승을 포착하고; 확률적 분기(stochastic branch)는 갑작스러운 증기 폭발을 모델링합니다.

4. Hybrid Policy Decoder
   정책은 (a) 라우팅된 64개 토큰, (b) 세 가지 미래 임베딩, 그리고 (c)

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

• 안전 필수 환경에서는 지연 시간(Latency)이 순수 정확도보다 중요하다. 로봇이 움직이는 동료 인간을 피할 수 있는지 여부는 종종 30ms의 의사결정 창(decision window)에 달려 있다. Long-WAM의 라우터는 토큰 수를 80% 줄여, 문맥적 풍부함을 희생하지 않으면서도 7배의 속도 향상을 제공한다.

• 시간적 사전 지식(Temporal priors)이 필수적이다. 자기회귀 백본(autoregressive backbone)을 CLIP 스타일의 대조 인코더(contrastive encoder)로 대체하면 성공률이 9%p 하락하는 것으로 나타나, _비디오의 인과 구조를 학습하는 것_이 성능 향상의 원동력임을 확인시켜준다.

• 듀얼 브랜치 예측은 분산(variance)을 줄인다. 확률적 잔차 헤드(stochastic residual head)를 추가하면 증기나 눈부심에 대한 강건성(robustness)이 4%p 향상되는 것으로 나타났으며, 이는 로봇이 앞을 내다볼 때 불확실성 모델링이 여전히 중요하다는 것을 보여준다.

피벗 (위험 요소)

• 예측 임베딩을 하드 제약 조건(예: “다음 2초 동안 그리퍼로부터 5cm 이내에 물체가 없어야 함”)과 비교하는 안전 검증기(safety verifier)를 삽입합니다.
• 검증기가 높은 불확실성을 감지하면 폴백(fallback) “원시 컨텍스트(raw-context)” 모드로 전환합니다.

전망 (The Outlook)

Long-WAM은 컨텍스트 스케일링이 작동함을 증명하지만, 이는 모델이 비디오의 인과적 구조(causal structure)를 존중할 때만 가능합니다. 토큰 라우팅, 월드 예측, 정책 디코딩을 분리한 모듈식 아키텍처는 차세대 로봇 지능에 대한 청사진을 제공합니다: 몇 분 동안 _관찰_하고, 몇 초 앞을 _상상_하며, 마이크로초 단위로 행동하는 시스템입니다.

단기 연구 방향 (Near-term research directions)

1. 멀티모달 컨텍스트 라우터(Multimodal Context Routers) – 촉각 및 고유수용 감각 스트림을 시각 토큰과 융합하여 힘 피드백이 급증하는 순간에 우선순위를 부여합니다.
2. 계층적 예측 (Hierarchical Forecasts) – 단기 결정론적 예측(deterministic predictions)과 장기 확률적 스케치(stochastic sketches)를 결합하여, 정책이 즉각적인 파지(grasps)와 궁극적인 작업 순서화(task sequencing) 모두를 계획할 수 있도록 합니다.
3. 엣지 최적화 AR 백본 (Edge-Optimized AR Backbones) – 768차원, 24층 트랜스포머를 두 단계 파이프라인으로 압축하여 상용 로봇 CPU에서 실행하면서 자기회귀(autoregressive) 품질을 유지합니다.

정책적 시사점 (Policy implications)

규제 기관은 5초 이상의 시각 이력을 활용하는 모든 로봇에 대해 _예측-설명 가능성(forecast-explainability)_을 필수 요건으로 법제화해야 합니다. 안전 표준은 명시적인 지연 시간 제한(≤30ms)을 참조하고, 긴 비디오 버퍼를 위해 온디바이스 프라이버시 필터를 요구해야 합니다.

커뮤니티가 이러한 지침을 따른다면, Long-WAM의 접근 방식은 제조, 의료, 가정 지원 전반에 걸쳐 고성능 로봇 제어를 민주화할 수 있습니다. 이 기술은 단순히 미미한 개선이 아닌 근본적인 변화: 로봇이 더 이상 현재에만 반응하는 것이 아니라; 빡빡한 실시간 예산 내에서 가까운 미래를 _예측_하게 될 것을 약속합니다.

2026년 10월, 선임 기술 칼럼니스트 작성