Frontier-OPD: 에이전트 능력의 경계를 발견하고 능력을 초월하도록 가르치기

요약

본 글은 다중 턴 에이전트의 감독 지식을 개선하기 위한 'Frontier-OPD'를 소개합니다. 이는 학생의 학습 경계(learning frontier)를 정의하여, 짧은 교사 안내 후에도 자율적인 지속이 가능한 최적의 개입 시점을 식별하는 방법론입니다. ALFWorld 등 다양한 환경에서 기존 기준선보다 높은 평균 자율 성능을 입증했습니다.

핵심 포인트

• Frontier-OPD는 에이전트의 학습 경계를 활용하여 능력을 초월하는 안내를 제공합니다.
• 온-정책 경험을 공유 상태 궤적 그래프로 구성하고 균형 집계 방식을 사용했습니다.
• 교사 연결 구간과 학생 지속 과정을 비교하여 행동적 프록시를 생성합니다.
• ALFWorld, WebShop 등에서 기존 기준선보다 높은 자율 성능을 달성했습니다.