METTA: 메타 강화학습을 위한 메모리 기반 테스트 시간 적응

원문 발행 2026. 10. 23. 02:58원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 연구는 메타 강화학습을 위한 메모리 증강 테스트 시간 적응(METTA) 기법을 제안합니다. METTA는 인과적 신경 메모리를 활용하여 세밀한 에피소드 내 적응을 수행하고, 간결한 요약본으로 장거리 크로스-에피소드 추론을 지원하는 것이 특징입니다. 이 방법은 낮은 훈련 예산과 짧은 실시간 시간으로 높은 성공률을 달성하며 기존 모델 대비 우수한 성능을 입증했습니다.

핵심 포인트

METTA는 메타 RL의 메모리 증강 테스트 시간 적응 기법입니다.
인과적 신경 메모리를 통해 세밀한 에피소드 내 적응이 가능합니다.
에피소드 요약본으로 장거리 크로스-에피소드 추론을 지원합니다.
Meta-World 및 PointMaze 환경에서 높은 성공률과 효율성을 보였습니다.

메타 강화학습(Meta-reinforcement learning)은 제한된 상호작용만으로도 관찰되지 않은 작업에 빠르게 적응하는 에이전트를 훈련하는 것을 목표로 하지만, 이를 위해서는 긴 상호작용 이력 전체에 걸쳐 작업 증거를 표현해야 합니다. 기존의 순환형(recurrent) 에이전트는 경험을 은닉 상태(hidden states)로 압축하는 반면, 트랜스포머 기반 에이전트는 과거 궤적에서 검색하며 이는 이차적인 메모리 및 계산 비용을 초래합니다. 본 연구에서는 메타 강화학습을 위한 메모리 증강 테스트 시간 적응(Memory-Enhanced Test-Time Adaptation, METTA)을 제안합니다. METTA는 빠른 적응 단계를 두 가지 시간 규모로 분해합니다. 즉, 인과적 신경 메모리(causal neural memory)가 선형 시퀀스 복잡도로 세밀한 에피소드 내 적응을 수행하며, 간결한 에피소드 수준 요약본은 전체 상호작용 이력에 주의를 기울이지 않으면서 장거리의 크로스-에피소드 작업 추론을 지원합니다. 더욱이, 에이전트에게 신경 메모리를 갖추게 하는 것은 충분한 표현 능력과 테스트 시간 훈련 능력을 제공하여, 메타-테스트 시점에 관찰되지 않은 홀드아웃(held-out) 작업 및 작업 패밀리에 효과적으로 적응할 수 있게 합니다. 관찰되지 않은 홀드아웃 Meta-World ML10/45 테스트 환경에서 METTA는 낮은 훈련 예산과 짧은 실시간 시간(wall-clock time)을 유지하면서도 50% 이상의 성공률을 달성합니다. 또한, 장문맥 희소 보상(long-context sparse-reward) PointMaze 작업에서는 보다 구조화된 탐색 행동을 보여 트랜스포머 기반 기준 모델보다 우수한 성능을 나타냅니다. 이러한 결과들은 METTA가 더욱 적응성이 높고 확장 가능한 장문맥 메타-RL로 나아가는 효율적인 경로를 제공함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

METTA: 메타 강화학습을 위한 메모리 기반 테스트 시간 적응

요약

핵심 포인트

댓글