APM: 임의의 선호도 매핑을 통한 LLM의 스타일 개인화 평가

전형적인 LLM(Large Language Model)의 응답은 기본 스타일을 따르는 경향이 있습니다. 비록 사용자들이 프롬프트(Prompt)에 명시적으로 밝히지 않더라도 어조(Tone), 장황함(Verbosity), 격식(Formality)에 대해 뚜렷한 선호도를 가지고 있는 경우가 많음에도 불구하고 말입니다. 개인화 방법론이 이러한 암시적 선호도에 적응할 수 있는지 평가하는 것은 매우 어렵습니다. 왜냐하면 사용자는 일반적으로 참조 응답(Reference response) 대신 프롬프트를 제공하며, 스타일 선호도는 사실적으로 검증할 수 없고, 참조가 없는 LLM 판사(LLM judges)는 개인화와 일반적인 응답 품질을 혼동할 수 있기 때문입니다.

이러한 문제를 해결하기 위해, 우리는 임의의 선호도 매핑 (Arbitrary Preference Mapping, APM) 벤치마크를 도입합니다. 이 벤치마크는 사용자 속성(예: 열정적인)을 응답 원칙(예: 설득력 있는)으로부터 분리하며, 사용자 속성을 응답 특성에 대한 선호도로 매핑하는 숨겨진 무작위 매핑 $\mathbf{C}$를 통해 이를 수행합니다. $\mathbf{C}$는 어떠한 의미론적 내용도 담고 있지 않으며 실행 시마다 재샘플링되기 때문에, 모델은 정형화된 연관 관계를 이용할 수 없으며 반드시 대화 이력으로부터 선호도를 추론해야 합니다.

이러한 편향되지 않은 평가 방법론을 사용하여, 우리는 검색 증강(Retrieval-augmented), 프롬프트 최적화(Prompt-optimization), 그리고 라우팅(Routing) 개인화 방법론을 적용하고 이를 Llama-3.1-8B 및 Qwen-3.5-27B에서 평가했습니다. 연구 결과, 라우팅이 가장 신뢰할 수 있는 접근 방식인 반면, RAG(Retrieval-Augmented Generation)는 더 강력한 베이스 LLM을 사용할 때만 성능이 향상되었으며, 소프트 프롬프트 최적화(Soft prompt optimization)는 개인화되지 않은 베이스라인(Baseline)에 비해 유의미한 개선을 보여주지 못했습니다. 우리의 광범위한 평가를 통해, 이러한 현실적인 설정에서 개인화는 여전히 도전적인 과제임을 확인했으나, 우리가 적용한 방법론들은 가능성을 보여주었습니다.