항상 아첨인 것은 아니다: 인식적 불확실성의 함수로서 LLM 순응도 측정하기

대규모 언어 모델 (LLMs)은 사용자의 반박에 맞추기 위해 자신의 초기 입장을 포기하는 것으로 알려져 있습니다. 이전 연구들은 주로 이러한 행동을 인간 피드백을 통한 강화학습 (RLHF) 과정에서 학습된 아첨 (Sycophancy) 때문이라고 설명하지만, 우리는 순응 (Conformity)이 추론 (Inference) 시점의 모델의 인식적 불확실성 (Epistemic Uncertainty)에 의해서도 유발된다는 가설을 세웠습니다. 본 논문에서 우리는 LLM 순응을 유도하는 메커니즘을 분리하기 위한 2단계 평가 프레임워크인 MUSE를 소개합니다. 구체적으로, MUSE는 질의에 응답할 때 모델의 인식적 불확실성을 이후 턴에서 사용자의 반박에 굴복할 가능성과 매핑합니다. 우리는 순응을 유도하는 메커니즘이 단순히 아첨을 넘어 확장된다는 것을 입증합니다. 구체적으로, 순응을 공동으로 유도하는 두 가지 뚜렷한 요인을 규명합니다: 초기 응답에 대해 절대적인 확신이 있음에도 사용자의 반박에 일치하는 '아첨적 순응 (Sycophantic conformity)'과, 불확실성이 증가함에 따라 순응 가능성도 함께 높아지는 '불확실성 기반 순응 (Uncertainty-driven conformity)'입니다. 나아가, 우리는 절제 연구 (Ablation studies)를 통해 아첨적 순응과 불확실성 기반 순응 모두가 1) LLM이 인지하는 사용자의 전문성 및 2) 사용자 제안의 타당성에 따라 증가함을 보여줍니다. 더 넓게는, MUSE가 정렬 (Alignment)으로 유도된 아첨과 학습 코퍼스 (Training-corpora) 기반의 불확실성을 구분함으로써 더욱 표적화된 개입 전략을 제공할 수 있음을 시사합니다.