상상력을 갖춘 에이전트 훈련 (Train An Imaginative Agent)

원문 발행 2026. 10. 20. 02:59원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 행동 실행 전에 결과를 예측하고 상상하도록 훈련하는 프레임워크인 Agentic Imagination (Agima)을 소개합니다. Agima는 단일 omni 모델로 행동 제안, 결과 이미지 생성, 미래 추론을 통합하여 에이전트가 여러 대안을 시뮬레이션하며 계획할 수 있게 합니다. SFT와 RL을 결합하여 에이전트의 상상력과 계획 능력을 향상시켰습니다.

핵심 포인트

Agima는 행동 전 결과 예측 및 상상을 가능하게 하는 프레임워크입니다.
단일 omni 모델로 행동 제안, 이미지 생성, 미래 추론을 통합합니다.
SFT와 RL을 결합하여 에이전트의 계획 능력과 일반화 성능을 높였습니다.
상상력을 통해 대안 탐색 및 중요한 결정 지점에서 분기하는 능력을 학습했습니다.

Sokoban에서 겉보기에 합리적인 움직임 하나가 퍼즐을 풀 수 없게 만들 수도 있습니다. 이러한 실수를 피하기 위해, 특히 실제 환경으로부터의 피드백이 부족하거나 행동이 되돌릴 수 없을 때, 에이전트는 실행 전에 자신의 행동이 가져올 결과를 예측해야 합니다. 우리는 행동하기 전에 상상하도록 훈련하는 프레임워크인 Agentic Imagination (Agima)을 소개합니다. 즉, 상상력을 갖추도록 훈련합니다. Agima는 단일 omni 모델을 훈련하여 행동을 제안하고, 그 결과에 대한 이미지를 생성하며, 그런 다음 이러한 상상된 미래를 추론하여 실제 환경에서 무엇을 실행할지 결정합니다. 에이전트는 단 하나의 계획에 전념하기보다는 일련의 행동을 시뮬레이션하고, 대안을 탐색하며, 가능한 미래들을 비교할 수 있습니다. 먼저 우리는 지도 학습 미세 조정(SFT)을 사용하여 정책과 세계 모델링을 단일 omni 모델 내에서 통합합니다. 이를 통해 에이전트는 미래 결과를 예측하고, 순방향 사고(forward thinking)나 반사실적 분기(counterfactual branching)와 같은 기본적인 형태의 상상력을 수행할 수 있습니다. 다음으로 우리는 agentic 강화 학습 (RL)을 사용하여 에이전트가 상상된 미래를 가지고 추론하도록 가르치고 이를 계획에 효과적으로 사용하도록 합니다. Maze2D, Sokoban, Pacman, PushT 등 네 가지 환경에 걸쳐 Agima는 훈련 중에 보지 못한 더 어려운 설정에서도 일반화됩니다. 두 박스 Sokoban에서 SFT만으로 훈련된 Agima는 실제 보드를 5번 움직임마다 한 번씩만 볼 때도 40%의 퍼즐을 해결하는 반면, 행동만을 계획하는 플래너는 2%밖에 해결하지 못했습니다. RL 이후에는 Agima가 상상력을 사용하는 방식에서 새로운 행동이 나타납니다: SFT 단계에서는 보지 못했던 새로운 통합 형식을 학습하고, 필요할 때만 순방향 사고를 수행하며, 중요한 결정 지점에서 더 자주 분기하는 것을 학습합니다. 자신의 행동이 어디로 이어질 수 있는지 그림을 그릴 수 있는 에이전트는 언제, 그리고 어디를 살펴볼지, 즉 계획하는 법을 배울 수 있습니다. 프로젝트 페이지: https://agima.net/.

AI 자동 생성 콘텐츠

원문 바로가기

상상력을 갖춘 에이전트 훈련 (Train An Imaginative Agent)

요약

핵심 포인트

댓글