Temper and Tilt가 SLOP로 이어지는 과정: 추론 시 정렬 (Inference-Time Alignment)을 통한 보상 해킹

추론 시 정렬 (Inference-time alignment) 기술은 비용이 많이 드는 강화학습 (Reinforcement Learning)에 대한 가벼운 대안 또는 보완책을 제공하며, 정렬 목표와 보상 대상이 진화함에 따라 지속적인 적응을 가능하게 합니다. 기존의 이론적 분석은 이러한 방법들이 주어진 보상 모델 (Reward Model)을 향해 최적으로 기울어진 (Tilted) 분포로부터 샘플링하는 것에 대한 근사치임을 정당화합니다. 우리는 참조 모델의 온도 조절 (Reference-model temperature adjustment)을 도입하여 이러한 기술을 확장하며, 이는 추론 시 정렬을 날카로워진 로그 의견 풀 (Sharpened Logarithmic Opinion Pool, SLOP)로 결합된 생성적 보상 모델 (Generative Reward Models)의 앙상블로 더욱 일반화합니다. 보상 해킹 (Reward Hacking)을 완화하기 위해, 우리는 SLOP 가중치 파라미터를 교정하기 위한 알고리즘을 제안하며, 이것이 정렬 성능을 유지하면서도 강건성 (Robustness)을 향상시킨다는 것을 실험적으로 입증합니다.