TRACE: 지연된 증거 기반 시각-운동 모방을 위한 궤적 라우팅 인과 메모리

자율 운영 중인 로봇은 더 이상 보이지 않는 증거를 바탕으로 결정을 내려야 할 수도 있습니다. 우리는 초기 단서가 나중의 결정 시점 이전에 사라져서, 시각적으로 유사한 관측치라도 서로 다른 행동을 요구할 수 있는 extit{지연된 증거 (delayed-evidence)} 과제를 연구합니다. 이러한 환경에서는 현재의 관측치만으로는 제어를 위한 충분한 상태(state)가 되지 않습니다. 우리는 시각-운동 모방 (visuomotor imitation) 정책을 위한 메모리 프레임워크인 TRAjectory-routed Causal Evidence (TRACE)를 소개합니다. TRACE는 객체의 정체성, 목표 선택 또는 경로 의존적 상태와 같이 작업과 관련된 시각적 및 로봇 상태 증거를 긴 에피소드 동안 제한된 크기로 유지되는 고정 크기의 잠재 메모리 (latent memory)에 저장합니다. TRACE는 메모리를 원시 시간(raw time)이나 수동으로 제공된 작업 레이블로 인덱싱하는 대신, 실행된 로봇 상태 궤적의 조밀하고 순서에 민감한 특징인 extit{경로 시그니처 (path signatures)}를 사용합니다. 이러한 시그니처는 시각적 단서 자체를 저장하는 것이 아니라, 단서가 보였을 때 저장된 증거를 쓰고 검색하기 위한 궤적 조건부 키 (trajectory-conditioned keys)를 제공합니다. 로봇이 나중에 모호한 관측치에 도달하면, 정책은 TRACE 메모리를 조건화하여 누락된 문맥을 복구하고 올바른 분기(branch)를 선택합니다. TRACE는 정책의 백본 (backbone), 액션 헤드 (action head) 또는 모방 목적 함수를 변경하지 않고 경량 어댑터 (lightweight adapters)를 통해 정책에 부착됩니다. 시각적으로 모호한 분기점이 존재하는 실제 환경의 장기 조작 (long-horizon manipulation) 과제 전반에서, TRACE는 짧은 이력 (short-history) 및 순환 메모리 (recurrent memory)를 포함한 대안적인 베이스라인 모델들에 비해 분기 선택 및 작업 성공률을 향상시킵니다. 프로젝트 페이지: https://jeong-zju.github.io/trace