EcomRLVE-GYM: 이커머스 대화 에이전트를 위한 적응형 검증 환경

요약

본 글은 기존의 RL(Reinforcement Learning) 프레임워크를 이커머스 도메인으로 확장한 EcomRLVE-GYM을 소개합니다. EcomRLVE-GYM은 단순 텍스트 추론이 아닌, 실제 에이전트가 도구를 사용하고 세계 상태를 변경해야 하는 다단계(multi-turn), 에이전트 기반 대화 시나리오에 초점을 맞춥니다. 이 환경은 제품 검색, 장바구니 구성, 반품 처리 등 8가지 검증 가능한 환경을 제공하며, 알고리즘적으로 평가되는 보상과 12축의 적응형 난이도 커리큘럼을 통해 실제 상업적 과제 수행 능력을 체계적으로 학습

핵심 포인트

• EcomRLVE-GYM은 제품 검색, 장바구니 구성(Cart Building), 반품 처리 등 8가지의 실생활 이커머스 시나리오를 포함하는 검증 가능한 환경을 제공합니다.
• 이 프레임워크는 단순한 LLM 추론을 넘어, 에이전트가 도구를 호출하고 세계 상태를 변경해야 하는 다단계(multi-turn), 에이전트 기반 대화에 초점을 맞춥니다.
• 평가는 알고리즘적으로 이루어지며, Task reward, Efficiency reward, Hallucination penalty 세 가지 신호를 통해 객관적이고 정량적인 보상을 제공합니다.
• 12개의 독립적인 축을 가진 적응형 난이도 커리큘럼(Adaptive difficulty curriculum)을 통해 다양한 복합적인 어려움에 대응할 수 있습니다.