이진 피드백을 이용한 LLM 개인화: 선호도 보정 최적화 프레임워크

요약

본 논문은 LLM 개인화에 관한 새로운 프레임워크인 C-BPO를 제안합니다. C-BPO는 사용자의 명시적 선호도(긍정 피드백)와 다른 사용자 데이터를 암묵적인 부정 신호로 활용하여, 개별 사용자 간의 미묘한 차이점을 포착하는 데 중점을 둡니다. 특히 '선호도 중첩' 문제를 해결하기 위해 PU 이론에 기반한 목적 함수를 도입함으로써, 일반적인 유용성을 유지하면서도 고유한 개인화 특성을 효과적으로 반영합니다.

핵심 포인트

• C-BPO 프레임워크는 LLM을 사용자 선호도에 맞게 개인화하는 것을 목표로 합니다.
• 사용자의 긍정 피드백과 다른 사용자의 데이터를 암묵적인 부정 신호 집합으로 활용하여 사용자 간 차이점을 포착합니다.
• PU(Positive-Unlabeled) 이론 기반의 목적 함수를 사용하여 '선호도 중첩' 문제를 완화하고, 일반적 유용성을 저해하지 않도록 합니다.
• 실험 결과, C-BPO는 다양한 개인화 작업과 백본 LLM에서 기존 모델 대비 일관되게 우수한 성능을 입증했습니다.