Temper and Tilt가 SLOP로 이어지는 과정: 추론 시 정렬 (Inference-Time Alignment)을 통한 보상 해킹

요약

본 기사는 추론 시 정렬(Inference-time alignment) 기술을 다루며, 이는 비용 효율적인 강화학습의 대안 또는 보완책으로 활용될 수 있습니다. 연구진은 참조 모델의 온도 조절을 도입하여 이 기술을 확장하고, 이를 날카로워진 로그 의견 풀(SLOP)과 결합된 생성적 보상 모델 앙상블로 일반화했습니다. 또한, 보상 해킹 문제를 완화하기 위해 SLOP 가중치 파라미터를 교정하는 새로운 알고리즘을 제안하여 정렬 성능과 강건성을 동시에 향상시켰습니다.

핵심 포인트

• 추론 시 정렬은 강화학습의 대안 또는 보완책으로 활용 가능하며 지속적인 적응이 가능하다.
• 참조 모델의 온도 조절 도입 및 SLOP와 결합된 생성적 보상 모델 앙상블로 기술을 일반화했다.
• 보상 해킹 완화를 위해 SLOP 가중치 파라미터를 교정하는 알고리즘을 제안하여 강건성을 높였다.