WorldLines: 장기적 상태 유지 임바디드 에이전트 (Embodied Agents)를 위한 벤치마킹 및 모델링

실제 가정 환경에서 인간을 장기간 보조하기 위해서, 임바디드 에이전트 (Embodied Agents)는 사용자의 루틴, 세계 상태 (World States), 그리고 과거의 상호작용을 기억해야 합니다. 기존의 장기 기억 벤치마크들은 주로 언어 중심의 검색 (Retrieval) 및 질의응답 (Question Answering)을 평가하는 반면, 임바디드 벤치마크들은 동적인 환경에서의 장기 기억 활용을 테스트하지 않은 채 단기적 작업 수행 (Short-horizon task execution)에 집중하는 경우가 많습니다. 우리는 장기적 임바디드 가사 보조를 위한 프로젝트 중심의 벤치마크인 WorldLines를 소개합니다. 이는 대화, 행동 (Actions), 실행 피드백, 객체 및 장치 상태 변화를 포함하는 시간적으로 확장된 가사 추적 데이터 (Household traces)를 구축하고, 이를 기억 질의응답 (Memory QA) 및 임바디드 작업 계획 (Embodied Task Planning)을 위한 증거 연결 샘플 (Evidence-linked samples)로 변환합니다. 나아가 우리는 상태 인지적 의사결정 (State-aware decisions)을 위해 가시성 인지 기억 (Visibility-aware memories)과 행동 네이티브 상태 경로 (Action-native state trails)를 유지하는 관찰자 기반 기억 프레임워크인 ObsMem을 제안합니다. 실험 결과, 부분 관측 가능성 (Partial observability), 덮어쓰여진 세계 상태 (Overwritten world states), 그리고 장기 기억을 임바디드 계획으로 변환하는 과정에서 지속적인 어려움이 있음이 드러났으며, ObsMem은 이러한 설정에 대해 더 강력한 참조 아키텍처를 제공합니다.