Embodied AI의 300억 달러 규모 문제: 아무도 '좋음'의 의미를 모른다

2026년 1분기. Embodied AI (체화된 AI) 분야에 300억 달러가 투입되었습니다. 각각 10억 달러가 넘는 거래가 14건 발생했습니다. 채용 공고는 15배 증가했습니다.

자본이 유입되었습니다. 인재도 유입되었습니다. 하지만 한 가지는 오지 않았습니다. 바로 무엇이 "좋은" 것인지에 대한 공유된 표준입니다.

저는 로봇을 만드는 친구들에게 간단한 질문을 던져왔습니다: 당신의 로봇이 좋다는 것을 어떻게 알 수 있습니까?

아무도 깔끔한 답변을 내놓지 못합니다. 그들이 형편없는 엔지니어라서가 아닙니다. 업계에서 이를 정의한 적이 없기 때문입니다.

모두가 사용하는 벤치마크(Benchmarks) — RLBench, Maniskill, MetaWorld, CALVIN —는 모두 시뮬레이션 (Simulation) 환경에서 실행됩니다. 시뮬레이션에서 로봇이 문을 여는 법을 훈련하면, 100번 중 98번을 성공하며 95점을 받습니다. 하지만 이를 공장에 배치하면 — 조명이 다르고, 손잡이의 마찰력이 다르고, 바닥의 각도가 다릅니다. 성공률은 10%로 떨어집니다.

이것은 공공연한 비밀입니다. 모두가 시뮬레이션 점수가 실제 세계에서는 줄어든다는 것을 알고 있습니다. 하지만 자신의 점수가 주장하는 바를 의미하지 않는다는 것을 가장 먼저 인정하고 싶어 하는 사람은 아무도 없습니다.

저는 이 문제가 단순히 "시뮬레이션이 충분히 정확하지 않다"는 것보다 더 깊은 곳에 있다고 생각합니다.

검증의 4가지 계층

저는 원래 LLM (대규모 언어 모델) 출력을 위해 4계층 검증 프레임워크를 구축했습니다. WorldArena 팀의 평가 파이프라인(Evaluation pipeline) 작업을 함께하면서, 이 프레임워크가 물리적 세계에 훨씬 더 자연스럽게 적용된다는 것을 깨달았습니다.

계층 1: 규칙 준수 (Rule Following)

시뮬레이션은 "빨간 블록을 목표 위치로 미세요"라고 말합니다. 실제 세계는 "테이블 위의 컵을 가져오세요"라고 말합니다.

규칙을 이해하는 것과 의도(Intent)를 이해하는 것은 다른 문제입니다. 대부분의 벤치마크는 계층 1에서 멈춥니다.

계층 2: 폐쇄 루프 피드백 (Closed-Loop Feedback)

시뮬레이션은 완벽하게 관찰 가능합니다 — 일정한 조명, 센서 노이즈 없음, 지연 시간(Latency) 제로. 실제 세계는 변하는 빛, 드리프트(Drift)가 발생하는 센서, 통신 지연이 존재합니다. 로봇이 경로를 벗어났음을 감지할 수 있습니까? 밀리초(Milliseconds) 단위 내에 궤적을 수정할 수 있습니까?

기존 벤치마크는 이를 묻지 않습니다. 이유는 실용적입니다. 이 차원을 추가하면 순위가 뒤바뀌게 되는데, 논문을 제출할 때 아무도 그런 위험을 감수하려 하지 않기 때문입니다.

계층 3: 자기 일관성 (Self-Consistency)

어제는 컵을 잡는 법을 배웠습니다. 오늘 당신이 똑같은 컵을 건네준다면 — 성공률은 동일할까요?

치명적 망각 (Catastrophic forgetting)은 LLM(대규모 언어 모델)에만 국한된 문제가 아닙니다. 새로운 기술을 미세 조정 (Fine-tune)하면, 기존의 기술이 저하될 수 있습니다. 제가 한 연구자에게 물은 적이 있습니다. 부록에 장기 안정성 (Long-term stability) 데이터를 보고하는 논문이 과연 몇 개나 될까요?

계층 4: 프레임워크 교정 (Framework Calibration)

저는 계층 4에 대한 답을 가지고 있지 않습니다. 오직 질문만을 가지고 있습니다.

당신의 목표: 사고 없이 8시간 동안 공장에서 작동하는 로봇. 당신의 테스트: 시뮬레이션에서 문을 100번 열었을 때 98번 성공함.

이 두 가지 사이에는 업계가 존재하지 않는 척하는 거대한 강이 흐르고 있습니다.

Sim2Real은 공학적 문제가 아니다

Sim2Real 간극 (Sim2Real gap)에 대한 표준적인 설명은 "시뮬레이션 충실도 (Simulation fidelity)"입니다. 저는 그 설명을 믿지 않습니다.

Sim2Real 간극은 정확도의 문제가 아닙니다. 그것은 정보 압축 (Information compression)의 문제입니다.

시뮬레이션의 모든 계층은 물리 세계에 손실 압축 (Lossy compression)을 적용합니다:

• 물리적 정확도 (Physics accuracy) — 마찰 (Friction), 변형 (Deformation), 열팽창 (Thermal expansion). 이 모든 것이 단순화되거나 무시됩니다.
• 인식 (Perception) — 완벽한 조명, 노이즈 없음. 실제 세계에서 전구 하나만 바꿔도 모델은 망가집니다.
• 상호작용 (Interaction) — 시뮬레이션에서 물체는 강체 (Rigid bodies)입니다. 실제 세계에는 부드러운 물체가 있습니다. 당신의 로봇은 달걀을 잡는 것을 바위를 잡는 것과 동일하게 취급합니다.
• 시간적 요소 (Temporal) — 시뮬레이션에는 센서 드리프트 (Sensor drift)가 없습니다. 실제 세계에서 3시간 동안 작동하면 누적된 오차는 상당해집니다.

시뮬레이션이 나쁜 것이 아닙니다. 당신은 훈련 전에 어떤 정보를 잃어버렸는지 아직 파악하지 못했을 뿐입니다.

제가 계속해서 되돌아오는 프레임워크는 다음과 같습니다: 압축 (Compress) → 정량화 (Quantify) → 검증 (Verify) → 최적화 (Optimize).

Sim2Real 관점에서 보자면: 압축은 시뮬레이션이고, 정량화는 벤치마크 점수이며, 검증은 Sim2Real 간극이고, 최적화는 시뮬레이션 파라미터 튜닝입니다. 이 체인의 모든 연결 고리는 각각 독립적인 검증 방법이 필요합니다.

업계의 표준 관행은 이렇습니다: 검증은 건너뛰고, 점수만 보고한다.

침묵의 비용

"좋음"이 정의되지 않을 때, 300억 달러 중 상당 부분이 잘못 배분됩니다. 이는 기술이 준비되지 않았기 때문이 아니라, 그것이 제대로 작동하는지 측정할 표준이 없기 때문에 투자자들이 오직 스토리텔링에만 베팅할 수밖에 없기 때문입니다.

일부 팀들은 이 문제를 해결하기 위해 노력하고 있습니다. WorldArena Track2는 다중 에이전트 협업 (multi-agent collaboration)을 실제 환경에 더 가깝게 평가하려고 시도합니다. 올해 몇몇 국제 대회들은 Sim2Real 트랙을 추가하기도 했습니다.

하지만 흩어진 노력만으로는 표준을 만들 수 없습니다.

벤치마크 (Benchmarks)는 방향을 정의합니다. "좋음"을 정의하는 사람이 산업이 나아갈 방향을 정의합니다.

이것이 2026년 여름, Embodied AI가 직면한 질문입니다. 자본은 도착했고, 인재도 도착했지만, "좋음"에 대한 표준은 여전히 답을 기다리고 있습니다.