Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AdaStep은 장기 호라이즌 LLM 에이전트의 희소한 보상 문제를 해결하기 위해 적응형 단계 기여 가중치 부여 방법론을 제안합니다. 이 방법은 국소적 우위가 궤적 수준 신호를 수정하는 정도를 제어하며, 최적의 상태별 수축 계수를 도출하여 효율적인 학습을 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기 호라이즌(Long-horizon) LLM 에이전트는 일반적으로 희소한 결과 보상(sparse outcome rewards)으로 훈련되므로, 궤적 수준의 목표가 개별 결정의 기여도를 구별하기에는 너무 거칠합니다. 단계 수준의 기여 할당(Step-level credit assignment)은 더 세밀한 지도 학습을 제공하지만, 관찰된 반환(observed returns)이 후속 행동, 환경 전이(environment transitions), 그리고 궤적 길이에 의존하므로 그 추정치가 신뢰할 수 없을 수 있습니다. 우리는 AdaStep이라는 적응형 단계 기여 가중치 부여 방법론을 제안합니다. 이 방법은 각 그룹에서 파생된 국소적 우위(local advantage)가 궤적 수준의 신호를 얼마나 강하게 수정하는지를 제어합니다. 우리는 이러한 가중치를 잠재적 단계 우위(latent step advantage)에 대한 평균 제곱 오차 추정 문제로 공식화하고, 명시적인 조건부 샘플링 가정 하에서 최적의 상태별 수축 계수(per-state shrinkage coefficient)를 도출합니다. 이 계수는 신호 대 총 분산 해석을 가지는데, 반환의 변화가 선택된 행동에 기인하는 경우 국소적 기여도를 보존하고, 변화가 다운스트림 무작위성에 의해 지배되는 경우에는 이를 억제합니다. AdaStep은 비평가(critic), 추가적인 롤아웃(rollouts), 또는 추가 모델 추론 없이 가벼운 스칼라 계산만 필요로 합니다. ALFWorld, WebShop, ScienceWorld 세 가지 모델 백본에 대한 실험 결과는 낮은 계산 비용으로 베이스라인 대비 일관된 개선을 보여줍니다.