Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RoMeRL은 자기 진화형 LLM 에이전트의 메모리 효율성을 높이기 위해 차수 축소 유틸리티 상태를 사용하는 새로운 강화학습 프레임워크입니다. 고정된 차원의 의미론적 좌표를 통해 피드백을 집중시킴으로써 메모리-보상 함정 문제를 해결하고 성능을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자기 진화형 LLM 에이전트를 위한 학습 기반 메모리 시스템은 밀접하게 결합된 두 가지 과제에 직면해 있습니다. 첫째, 궤적 인덱스 유틸리티(trajectory-indexed utilities)는 상호작용 이력에 따라 증가하며, 이로 인해 제한된 피드백이 계속해서 확장되는 상태 공간(state space)에 분산됩니다. 둘째, 궤적 수준의 보상(trajectory-level rewards)이 함께 검색된 메모리들에 공동으로 할당되기 때문에, 무관한 경험이 오도된 유틸리티 업데이트를 받고 결과적으로 메모리-보상 함정(memory-reward trap)에 빠질 수 있습니다. 이러한 과제를 해결하기 위해, 우리는 결과 극성(outcome polarity)과 메모리 역학(memory dynamics)에 의해 인수분해되는 태스크별 고정 차원 메모리 상태를 사용하여 증가하는 궤적 인덱스 유틸리티 공간을 표현하는 차수 축소 메모리 강화학습(Reduced-Order Memory Reinforcement Learning, RoMeRL)을 소개합니다. RoMeRL은 시간이 지남에 따라 내용이 업데이트되거나 교체되는 고정된 세트의 의미론적 좌표(semantic coordinates)를 통해 새로운 경험을 통합하며, 이를 통해 유계된 유틸리티 서포트(bounded utility support) 내에 피드백을 집중시킵니다. 이론적으로, 우리는 이러한 차수 축소 파라미터화(reduced-order parameterization)가 각 유틸리티 좌표가 받는 평균 피드백을 증가시킨다는 것을 보여주며, 일반적인 좌표 전이 모델(coordinate-transition model) 하에서 오류 좌표의 정상 상태 점유(steady-state occupancy)를 규명합니다. 실증적으로, ALFWorld 및 LifelongAgentBench 전반에 걸쳐 RoMeRL은 작업 성능을 향상시키고, Cold-Q 비율을 80.0% 감소시키며, 피드백 밀도를 약 6.0배 증가시키고, 유지되는 메모리 크기를 84.4% 줄이며, LLM 호출을 21.1% 절감합니다. 이러한 결과는 차수 축소 유틸리티 상태가 지속적인 보상 오염(reward contamination)을 제한하는 동시에 효율적인 자기 진화형 에이전트 메모리를 지원함을 보여줍니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/YOUNG-fnxm/RoMeRL