대규모 언어 모델(LLM) 개인화는 모델의 동작을 개별 사용자 선호도에 맞추는 것을 목표로 합니다. 기존 방법들은 종종 고립된 사용자 이력에 초점을 맞추어, 사용자 간 차이점이라는 필수적인 역할을 무시합니다. 우리는 C-BPO라는 프레임워크를 제안하며, 이는 선호도로 보정된 이진 신호를 통해 LLM을 개인화합니다. 목표 사용자 데이터를 긍정적 피드백으로 취급하고 다른 사용자의 데이터를 암묵적인 부정 신호의 보조 집합으로 간주함으로써, C-BPO는 명확한 사용자 간 차이점을 포착합니다. 공유된 작업 지식이 잘못 패널티를 받는 '선호도 중첩(preference overlap)' 문제를 완화하기 위해, 우리는 긍정-미표지 학습(Positive-Unlabeled, PU) 이론에 기반을 둔 목적 함수를 도출했습니다. 이 접근 방식은 '긍정 편향(positive bias)'을 빼서 부정 신호를 정제함으로써, 일반적인 유용성을 저해하지 않으면서도 고유한 특이점을 반영하도록 보장합니다. 다양한 개인화 작업과 백본 LLM에 걸친 경험적 실험들은 C-BPO가 기준 모델들보다 일관되게 우수한 성능을 보여주었으며, 사용자 간 차이점을 모델링하는 데 있어 선호도로 보정된 이진 신호의 효과를 입증했습니다.