선택적 타이 학습: 선호도 최적화에서의 허위 상관관계 완화

요약

본 논문은 선호도 최적화 과정에서 발생할 수 있는 허위 상관관계를 완화하는 방법을 제시합니다. 단순히 타이(동등하게 선호되는 응답)를 추가하기보다, 모델의 예측 감소 효과가 가장 큰 '선택적인' 타이를 결정하는 새로운 규칙을 제안했습니다. 이 방법은 LLM 및 신경망 전반에 걸쳐 허위 의존성을 효율적으로 줄이는 이론적 기반을 제공합니다.

핵심 포인트

• 선호도 최적화는 허위 상관관계를 학습할 수 있어 모델의 신뢰성 문제가 발생함.
• 타이(ties)를 추가하는 것은 허위 의존성 감소에 도움이 되지만, 선택 기준이 중요함.
• 암묵적 보상 마진을 사용하여 타이가 미치는 영향력을 추정하는 프록시 방식을 제안함.
• 선택 규칙은 균일한 선택보다 적은 타이를 사용해 유사한 수준의 의존성 감소를 달성함.