루브릭 (Rubric) 기반의 보상 형성 (Reward shaping)은 RL을 통해 LLM을 미세 조정 (Fine-tuning)하는 효과적인 방법으로, 구조화된 루브릭이 표준 결과 보상을 여러 차원으로 분해하여 더 풍부한 보상 신호를 제공합니다. 최근 연구들은 현재 단계의 롤아웃 (Rollouts)이나 쌍체 비교 (Pairwise comparisons)와 같은 로컬 신호에 기반하여 루브릭을 적응적으로 만듭니다. 그러나 이러한 방법들은 즉각적인 사용 후 평가 과정에서 생성된 진단 정보를 폐기하며, 평가 지식의 장기적인 축적과 전략적 재사용을 방해합니다. 이는 시스템이 평가 원칙을 처음부터 다시 도출하게 만들고, 반복되는 하위 최적 (Suboptimal) 행동을 탐지하는 능력을 제한하며, 지속적인 훈련 이력이 자연스럽게 지원할 수 있는 커리큘럼 (Curriculum)과 같은 점진적 발전을 포기하게 만듭니다.

이러한 한계를 해결하기 위해, 우리는 루브릭 수정을 장기적인 훈련 이력에 근거하는 AMARIS를 소개합니다. 각 훈련 단계에서 AMARIS는 개별 롤아웃을 분석하고, 발견 사항을 단계별 요약으로 집계하며, 정적 (최근 단계) 및 동적 (의미론적 매칭) 검색 모두를 통해 지속적인 평가 메모리로부터 관련 역사적 맥락을 검색하고, 이러한 축적된 분석을 바탕으로 루브릭을 업데이트합니다. 이 절차는 최소한의 오버헤드로 일반적인 RL 루프와 병렬로 비동기적으로 실행됩니다.

폐쇄형(Closed) 및 개방형(Open-ended) 도메인 모두에서의 실험 결과, AMARIS가 일관되게 베이스라인 (Baselines)보다 우수한 성능을 보임을 확인했습니다. 어블레이션 연구 (Ablation studies)에 따르면 정적 및 동적 메모리 검색이 성능 향상에 기여하며, 이들의 조합이 대부분의 이득을 제공하기에 충분한 적절한 검색 예산 내에서 가장 강력한 결과를 제공합니다. 또한 전체 파이프라인은 비동기 실행을 통해 약 5%의 시간 오버헤드만을 추가합니다. 이러한 결과는 지속적인 평가 메모리가 루브릭 기반 보상 형성을 상태가 없는 (Stateless) 단계별 휴리스틱 (Heuristic)에서 RL 훈련을 위한 증거 기반 루프로 변모시킬 수 있음을 보여줍니다.