이진 피드백을 이용한 LLM 개인화: 선호도 보정 최적화 프레임워크
요약
본 논문은 LLM 개인화에 관한 새로운 프레임워크인 C-BPO를 제안합니다. C-BPO는 사용자의 명시적 선호도(긍정 피드백)와 다른 사용자 데이터를 암묵적인 부정 신호로 활용하여, 개별 사용자 간의 미묘한 차이점을 포착하는 데 중점을 둡니다. 특히 '선호도 중첩' 문제를 해결하기 위해 PU 이론에 기반한 목적 함수를 도입함으로써, 일반적인 유용성을 유지하면서도 고유한 개인화 특성을 효과적으로 반영합니다.
핵심 포인트
- C-BPO 프레임워크는 LLM을 사용자 선호도에 맞게 개인화하는 것을 목표로 합니다.
- 사용자의 긍정 피드백과 다른 사용자의 데이터를 암묵적인 부정 신호 집합으로 활용하여 사용자 간 차이점을 포착합니다.
- PU(Positive-Unlabeled) 이론 기반의 목적 함수를 사용하여 '선호도 중첩' 문제를 완화하고, 일반적 유용성을 저해하지 않도록 합니다.
- 실험 결과, C-BPO는 다양한 개인화 작업과 백본 LLM에서 기존 모델 대비 일관되게 우수한 성능을 입증했습니다.
대규모 언어 모델(LLM) 개인화는 모델의 동작을 개별 사용자 선호도에 맞추는 것을 목표로 합니다. 기존 방법들은 종종 고립된 사용자 이력에 초점을 맞추어, 사용자 간 차이점이라는 필수적인 역할을 무시합니다. 우리는 C-BPO라는 프레임워크를 제안하며, 이는 선호도로 보정된 이진 신호를 통해 LLM을 개인화합니다. 목표 사용자 데이터를 긍정적 피드백으로 취급하고 다른 사용자의 데이터를 암묵적인 부정 신호의 보조 집합으로 간주함으로써, C-BPO는 명확한 사용자 간 차이점을 포착합니다. 공유된 작업 지식이 잘못 패널티를 받는 '선호도 중첩(preference overlap)' 문제를 완화하기 위해, 우리는 긍정-미표지 학습(Positive-Unlabeled, PU) 이론에 기반을 둔 목적 함수를 도출했습니다. 이 접근 방식은 '긍정 편향(positive bias)'을 빼서 부정 신호를 정제함으로써, 일반적인 유용성을 저해하지 않으면서도 고유한 특이점을 반영하도록 보장합니다. 다양한 개인화 작업과 백본 LLM에 걸친 경험적 실험들은 C-BPO가 기준 모델들보다 일관되게 우수한 성능을 보여주었으며, 사용자 간 차이점을 모델링하는 데 있어 선호도로 보정된 이진 신호의 효과를 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기