Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
VeriFine은 에이전트의 자기 개선을 위해 평가자(judge)를 확장하고 진화시키는 프레임워크입니다. 이 시스템은 정책과 평가자가 공동으로 발전하는 루프를 통해, 실패 패턴을 분석하여 적응형 커리큘럼을 구성하고 정책을 최적화합니다. 특히 로봇 내비게이션 등 체화된 추론 환경에서 지속적인 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자기 개선 정책(Self-improving policies)은 지속적으로 새로운 실패 패턴을 노출하며, 평가자(judges)가 무엇을 검증할 수 있어야 하는지를 변화시킵니다. 그러나 현재의 고정된 평가자는 최적화 피드백과 유용한 훈련 예제 발견 모두를 제약하여 추가적인 자기 개선을 제한합니다. 이러한 문제는 특히 체화된 추론(embodied reasoning)에서 더욱 심각한데, 여기서는 신뢰할 수 있는 평가가 공간적 접지(spatial grounding), 인과적 추론(causal reasoning), 그리고 안전 인식 의사결정(safety-aware decision-making)을 고려해야 하기 때문입니다. 우리는 정책, 훈련 커리큘럼, 그리고 평가자의 공동 진화(co-evolution)를 통해 검증을 확장하는 에이전트 하네스 프레임워크인 VeriFine을 소개합니다. 정책 개선 루프(Policy Improvement Loop)는 루브릭 평가자(rubric judge)를 사용하여 반복되는 실패를 진단하고, 적응형 커리큘럼을 구성하며, 정책을 최적화합니다. 진행이 정체되고 검증이 병목 현상이 될 때, 평가자 개선 루프(Judge Improvement Loop)는 정보가 풍부한 실패 사례에 대해 선택적으로 인간의 지침을 질의하고, 공동 능동 보정(coactive calibration)을 통해 평가자를 개선합니다. 이 과정에서 인간과 에이전트는 의견 불일치를 해결하고 물리적 추론이라는 목표 루브릭으로 수렴합니다. 수정된 평가자는 다음 단계의 데이터 선택과 정책 최적화를 안내합니다. 운전 및 로봇 내비게이션 작업에 대한 실험은 강화 학습(reinforcement)과 지도 미세 조정(supervised fine-tuning) 모두에서 정책과 평가자 역량의 지속적인 자기 개선을 입증했습니다. 이러한 결과는 정책 실패 패턴이 진화함에 따라 검증 확장이 어떻게 지속적인 자기 개선을 지원하는지 보여줍니다.