OrderGrad: 순서 통계량 정책 경사 추정을 통한 평균 이상의 최적화

요약

OrderGrad는 기대 수익 대신 꼬리 위험, 이상치 강건성, Best-of-K 탐색 등 분포적 특성을 최적화하는 새로운 정책 경사 방법론입니다. 순서 통계량 목적 함수를 위해 편향되지 않은 경사 추정기를 제공하며, 기존 알고리즘에 플러그 앤 플레이 방식으로 적용 가능합니다.

핵심 포인트

• 순서 통계량 기반의 새로운 정책 경사 추정기 OrderGrad 제안
• VaR, CVaR, 중앙값 등 다양한 분포적 목적 함수 최적화 가능
• 기존 표준 정책 경사 및 재매개변수화 업데이트에 즉시 적용 가능
• LLM 수학 사후 학습 등 평균 최적화가 부적합한 작업에서 효과 입증