AMARIS: 루브릭 기반 강화학습을 위한 메모리 증강 루브릭 개선 시스템

요약

AMARIS는 루브릭 기반 강화학습(RL)에서 평가 지식을 장기적으로 축적하고 재사용할 수 있도록 설계된 메모리 증강 루브릭 개선 시스템입니다. 기존 방식이 평가 정보를 즉각 폐기하여 반복적인 학습 효율을 저해하는 한계를 극복하기 위해, 정적 및 동적 검색을 통해 과거의 분석 데이터를 활용하여 루브릭을 업데이트합니다. 실험 결과, AMARIS는 낮은 시간 오버헤드만으로도 폐쇄형 및 개방형 도메인 모두에서 기존 베이스라인보다 우수한 성능을 입증했습니다.

핵심 포인트

• 기존 루브릭 기반 보상 형성 방식의 정보 폐기 문제를 해결하기 위해 지속적인 평가 메모리 도입
• 정적(최근 단계) 및 동적(의미론적 매칭) 검색을 결합하여 역사적 맥락을 루브릭 업데이트에 반영
• 비동기 실행 구조를 통해 전체 파이프라인에 약 5%의 최소한의 시간 오버헤드만 추가
• 폐쇄형 및 개방형 도메인 실험을 통해 기존 방식 대비 일관된 성능 향상 확인