REAR: 보상 분해를 통한 테스트 시간 선호도 재정렬 (Test-time Preference Realignment through Reward

요약

LLM을 사용자 선호도에 맞게 정렬하기 위해 테스트 시간 스케일링(TTS)을 활용하는 새로운 프레임워크 REAR를 제안합니다. 보상 함수를 질문 관련 요소와 선호도 정보로 분해하여 효율적인 재정렬을 가능하게 하며, 수학 및 시각적 작업에서도 뛰어난 성능을 보입니다.

핵심 포인트

• 보상 함수를 질문 관련 요소와 선호도 요소로 분해하는 REAR 프레임워크 도입
• 추가 학습 없이 테스트 시간 스케일링을 통해 사용자 선호도 정렬 가능
• 토큰 수준 로그 확률의 선형 결합으로 공식화하여 계산 효율성 확보
• Best-of-N 및 트리 탐색 알고리즘과 쉽게 통합 가능
• 수학 및 시각적 작업으로의 일반화 성능 입증