로봇이나 신체를 가진 AI(Embodied AI) 이야기를 하다 보면, VLM・VLA・**World Model(세계 모델)**이라는, 비슷해 보이지만 서로 다른 세 가지 용어가 자주 등장합니다.

• "VLM과 VLA는 무엇이 다른가요? A만 붙는 건가요?"
• "World Model은 아예 별개의 것인가요?"
• "각각 따로 사용하는 것인가요? 아니면 함께 사용하는 것인가요?"

이 기사는 그러한 의문을 가진 초보자분들을 위해, 세 가지의 차이점과 관계를 가능한 한 전문 용어를 피해 쉽게 정리한 것입니다.

이 기사에서 알 수 있는 것

• VLM / VLA / World Model이 각각 "무엇을 하는 것"인가

• 세 가지의 차이(역할·입출력)와, 의외로 긴밀하게 연결된 관계

• 단독으로 사용하는 케이스와, 연계·병용하는 케이스

• 대표적인 모델·논문(출처 링크 포함)

VLM = 이미지와 언어를 보고 "언어로 대답하는" 모델 (보고·말하기) -
VLA = 그 VLM에 "손발"을 달아 "행동하도록" 만든 모델 (보고·움직이기) -
World Model = "다음에 무슨 일이 일어날지"를 예측하는 "머릿속 시뮬레이터"

→ VLM과 VLA는 연결되어 있으며, World Model은 역할이 다른 파트너입니다. 최근에는 VLA와 World Model을 조합하는 것이 주류입니다.

로봇이 "수건을 접어줘"라는 말을 듣고 움직이려면, 크게 세 가지 단계가 필요합니다.

① 보고 이해하기 (카메라 영상 + 언어 지시를 이해함)

② 생각하고 예측하기 (이 다음에 어떻게 될지 상상함)

③ 움직이기 (실제로 모터를 움직임)

이 "보고 이해하기·예측하기·움직이기" 중에서 어느 부분을 담당하느냐가 세 가지 모델을 구분하는 핵심입니다. 대략적으로 대응시키면 다음과 같습니다:

VLM… ① 보고 이해하기 -
VLA… ① 보고 이해하기 + ③ 움직이기 -
World Model… ② 예측하기

그럼 순서대로 살펴보겠습니다. 우선 가장 기초가 되는 VLM부터입니다.

이미지와 언어를 받아 "언어(텍스트)"로 대답하는 모델입니다.

사진을 보여주며 "여기에 무엇이 찍혀 있어?"라고 물으면, "책상 위에 사과가 2개 있습니다"라고 대답해 주는 것—그것이 VLM입니다. ChatGPT에 이미지를 붙여 질문할 수 있는 것도 배후에서 VLM이 작동하고 있기 때문입니다. GPT-4V나 LLaVA, PaLI 등이 대표적인 예입니다.

입력: 이미지 + 언어 -
출력: 언어(텍스트) - 인터넷 규모의 이미지·언어 데이터로 학습되어, "딸기란 무엇인가"와 같은 세상의 상식을 가지고 있음

VLM은 "보고 언어로 대답하기"까지는 할 수 있지만, 스스로 몸을 움직일 수는 없습니다. 여기에 "손발"을 달아준 것이 다음의 VLA입니다.

"영상"과 "언어 지시"를 받아 직접 "로봇의 동작"을 출력하는 모델입니다.

VLM의 끝에 **A(Action=행동)**가 붙어 있는 것이 포인트입니다. 이름 그대로, VLA는 VLM을 토대로 하여 출력을 "언어"에서 "행동"으로 교체한 것이라고 이미지화하면 명쾌합니다.

카 내비게이션의 음성 안내(언어)와 앞 유리를 통해 보이는 풍경(영상)을 바탕으로 핸들이나 액셀을 조작하는 운전자를 상상해 보세요. VLA는 바로 "보고·듣고·그 자리에서 움직이는" 실행역입니다.

입력: 카메라 영상(Vision) + 언어 지시(Language) -
출력: 행동(Action) = 로봇의 동작 커맨드 - VLM이 가지고 있던 "상식"을 그대로 이어받을 수 있음

VLA라는 프레임워크를 유명하게 만든 것은 Google DeepMind의 RT-2(2023)입니다. RT-2는 거대한 VLM을 로봇 동작 데이터로 추가 학습(co-fine-tune)하여, 동작을 "언어 토큰"으로서 출력하게 만드는 방식을 취하고 있습니다1. 즉:

VLM(보고 언어로 대답함) + 행동 출력 = VLA(보고 이해하여 움직임)

그 후, OpenVLA(오픈 소스)2나 **π₀(파이 제로)**3와 같은 범용 로봇 기반 모델이 차례차례 등장하고 있습니다.

💡 VLA는 VLM의 "진화형·응용형"이며, 완전히 별개의 것이라기보다

연결되어 있습니다. VLM이 가진 "세상의 상식"을 그대로 이어받을 수 있기 때문에, 로봇이 학습하지 않은 미지의 물체나 지시에도 대응하기 쉬워집니다—이것이 VLA가 강력한 이유입니다1.

**「이 상태에서 이렇게 움직이면, 다음에는 이렇게 된다」를 예측하는 “환경의 시뮬레이터”**입니다. VLM/VLA와는 성격이 다르며, 「보고 답하기/움직이기」가 아니라 「미래를 예측하는」 역할을 담당합니다.

길을 걷다가 앞에서 자전거가 올 때, 머릿속으로 「이대로 가면 부딪히겠구나」라고 미래를 순간적으로 시뮬레이션하여 피하곤 하죠. 이 “머릿속 시뮬레이션 능력”이 World Model입니다.

입력: 현재 상태 + 취하려는 행동 -
출력: 다음에 일어날 상태 (다음 프레임의 영상, 물체의 움직임 등) -
로봇의 몸체가 없어도, 「세계가 어떻게 행동하는가」만을 학습할 수 있습니다.

World Model이라는 용어를 널리 알린 것은 Ha & Schmidhuber의 논문(2018)이며, 그 후 Dreamer 시리즈가 강화학습 (RL)에 응용되어 유명해졌습니다. 최근의 Dreamer 4는 게임(Minecraft) 세계를 머릿속으로만 시뮬레이션하여, 실제 환경에 전혀 접촉하지 않고도 태스크를 해결하는 단계까지 도달했습니다.

💡

왜 편리할까?

실제 세계에서 로봇에게 수천 번의 시행착오를 겪게 하는 것은 비용이 많이 들고 위험합니다. World Model의 “상상 속”에서 연습할 수 있다면, 안전하고 저비용으로 학습할 수 있습니다.

암기법

VLM = 눈과 입 (보고 말하기)
VLA = 눈과 입과 팔다리 (보고 이해하고 움직이기) = VLM + 행동
World Model = 미래를 보는 눈 (이후에 어떻게 될지 상상하기)

대략적으로 말하면, **VLM은 「보고 답하는 사람」, VLA는 「행동하는 사람」, World Model은 「예언자」**입니다. 그리고 VLA는 VLM을 토대로 만들어진다는 관계입니다.

이들은 모두 단독으로 연구·이용됩니다.

VLM 단독: 이미지 설명, 도표 판독, 시각적 질의응답 (GPT-4V 등) -
VLA 단독: π₀나 OpenVLA처럼, 그 자체로 로봇 제어의 파운데이션 모델 (Foundation Model)로서 동작함32 -
World Model 단독: 영상 생성, 자율주행의 장면 예측, 강화학습의 “꿈속에서의 학습” (Dreamer 등)7

다만, VLA는 「지금 이 순간 어떻게 움직일지」는 잘하지만, 「그 동작의 몇 초 후에 어떻게 될지」를 명시적으로 예측하는 메커니즘을 갖지 못한 경우가 많습니다. 그 부분을 World Model이 보완할 수 있다는 발상에서, 양자를 결합하는 흐름이 생겨났습니다.

2025~2026년에 걸쳐 VLA와 World Model을 통합하는 연구가 급증하고 있습니다. 대표적인 결합 방식은 다음 세 가지입니다.

1. VLA 내부에 「미래를 예측하는 머리」를 탑재하여 동작의 질을 높이는 접근법입니다. DreamVLA는 포괄적인 세계 지식을 “꿈꾸듯(예측하며)” 행동 생성을 돕습니다. 또한 3D-VLA는 3D 시각·언어·행동을 하나의 생성적 (Generative) World Model로 일체화하고 있습니다.

2. World Model을 활용한 가상 학습입니다. 실제 세계에서의 강화학습은 비용이 높고 위험하므로, World Model의 “상상 속”에서 보상을 확인하며 VLA를 단련합니다. VLA-RFT는 World Model을 보상이 포함된 시뮬레이터로 사용하여, VLA를 강화학습으로 미세 조정 (Fine-tuning)합니다.

3. 상호 학습을 통한 루프 형성입니다. 영상 World Model과 VLA 정책 (Policy)을 **서로 가르치는 루프 (Closed-loop)**로 만들어 동시에 똑똑하게 만드는 방법입니다. World-VLA-Loop가 그 예입니다.

VLA(토대는 VLM)가 「이렇게 움직이자」라고 생각하면, World Model이 「그렇게 움직이면 이렇게 돼」라고 앞서 읽고, 그 결과를 VLA가 받아 더 나은 행동을 선택하는 이미지입니다.

세 가지 관계를 한 줄씩 정리하면 다음과 같습니다.

VLM = 「보고 말로 대답하는」 모델 (토대) -
VLA = 「보고 이해하여 움직이는」 모델 (VLM ＋ 행동) -
World Model = 「환경이 어떻게 행동할지」를 예측하는 모델

VLM과 VLA는 하나로 이어져 있으며, VLA는 VLM 위에 "손과 발"을 추가한 것입니다. World Model은 이들과 역할이 다르며, "다음에 어떤 일이 일어날지"를 예측하는 파트너입니다. 로봇에게 「보고·생각하고·앞을 내다보고·움직이는」 것을 모두 수행하게 하려는 흐름 속에서, VLA와 World Model을 결합하는 것이 현재의 큰 흐름이 되고 있습니다.

입문자라면 우선 "VLM은 대답하고, VLA는 움직이며, World Model은 예측한다. VLA는 VLM의 진화형이며, 최근에는 World Model과 긴밀하게 연계되고 있다"라고 파악해 두는 것만으로도 충분합니다. 더 깊이 알고 싶은 분들은 아래의 서베이(Survey) 논문부터 살펴보는 것을 추천합니다813.

이 글이 「VLM·VLA·World Model이 왠지 모르게 모호했던」 느낌을 해소하는 데 도움이 되기를 바랍니다. 틀린 부분이나 보충할 내용이 있다면 댓글로 알려주세요 🙌

A. Brohan, B. Zitkovich et al., "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control," 2023. https://arxiv.org/abs/2307.15818 ／ 프로젝트 페이지: https://robotics-transformer2.github.io/ ↩ ↩

2 -
M. J. Kim et al., "OpenVLA: An Open-Source Vision-Language-Action Model," CoRL 2024. https://proceedings.mlr.press/v270/kim25c.html ↩ ↩

2 -
K. Black et al., "π₀: A Vision-Language-Action Flow Model for General Robot Control," 2024. https://arxiv.org/abs/2410.24164 ↩ ↩

2 -
D. Ha, J. Schmidhuber, "World Models," 2018. https://arxiv.org/abs/1803.10122 ↩

D. Hafner et al., "Dream to Control: Learning Behaviors by Latent Imagination" (Dreamer), 2019. https://arxiv.org/abs/1912.01603 ↩

D. Hafner et al., "Mastering Diverse Domains through World Models" (DreamerV3), Nature, 2025. https://arxiv.org/abs/2301.04104 ／ https://www.nature.com/articles/s41586-025-08744-2 ↩

D. Hafner, W. Yan et al., "Training Agents Inside of Scalable World Models" (Dreamer 4), 2025. https://arxiv.org/abs/2509.24527 ↩ ↩

2 -
"World Models for Robotic Manipulation: A Survey," 2026. https://arxiv.org/abs/2606.00113 ↩ ↩

2 -
W. Zhang et al., "DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge," 2025. https://arxiv.org/abs/2507.04447 ↩

H. Zhen et al., "3D-VLA: A 3D Vision-Language-Action Generative World Model," ICML 2024. https://arxiv.org/abs/2403.09631 ↩

• H. Li et al., "VLA-RFT: Vision-Language-Action Reinforcement Fine-Tuning with Verified Rewards in World Simulators," 2025. https://arxiv.org/abs/2510.00406 ↩

• "World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy," 2026. https://arxiv.org/abs/2602.06508 ↩

• "A Survey: Learning Embodied Intelligence from Physical Simulators and World Models," 2025. https://arxiv.org/abs/2507.00917 ↩