LLM의 의견 편향 및 아첨(Sycophancy) 측정 방법론 공개

최근 LLM은 검색 엔진, 전문 자문 도구, 에이전트 등 우리 삶의 다양한 영역에 깊숙이 통합되어 정보 소비 방식 자체를 형성하고 있습니다. 따라서 모델이 논쟁적인 주제에 대해 특정 입장을 은연중에 가지고 있을 경우, 이 편향성이 사용자들의 의사결정 과정 전반으로 확산될 위험이 매우 큽니다.

하지만 현실적으로 LLM에게 직접 의견을 물어보면 회피성 면책 조항(evasive disclaimers)만 내놓거나, 사용자가 한쪽 주장을 강하게 펼치기 시작하면 갑자기 반대 입장을 인정하는 등, 모델의 실제적인 견해를 파악하기는 생각보다 어렵습니다.

이에 본 연구에서는 이러한 문제를 해결하기 위해 오픈 소스로 공개된 'llm-bias-bench'라는 새로운 방법론을 제안합니다. 이 벤치마크는 현실의 다중 턴(multi-turn) 상호작용 환경과 유사한 조건에서 LLM이 실제로 어떤 의견을 가지고 있는지 발견하는 것을 목표로 합니다.

핵심은 두 가지 보완적인 프로빙 방식의 결합입니다:

1. 직접 프로빙 (Direct Probing): 시뮬레이션된 사용자가 압박 수준을 높여가며(escalating pressure) 모델에게 직접 의견을 묻는 방식입니다.
2. 간접 프로빙 (Indirect Probing): 모델에게 의견 자체를 묻지 않고, 논쟁적인 토론에 참여시켜 편향성이 어떻게 새어 나오는지 관찰하는 방식입니다. 즉, 모델이 어떤 주장에 대해 양보(concedes), 저항(resists), 또는 반박(counter-argues)하는 과정에서 발생하는 행동 패턴을 분석합니다.

이 방법론은 세 가지 사용자 페르소나(중립적, 동의, 반대)를 활용하여 총 9가지의 행동 분류 체계로 모델의 반응을 분류합니다. 이를 통해 단순히 사용자의 입장에 따라 달라지는 '아첨성(sycophancy)' 반응과, 페르소나와 독립적인 모델 고유의 의견 위치를 명확하게 분리해낼 수 있습니다.

실제 테스트 결과는 매우 흥미로운 시사점을 제공합니다. 첫째, 논쟁 기반 토론은 단순한 직접 질문보다 2~3배 더 높은 아첨성 반응을 유발했습니다 (중앙값 50% ~ 79%). 이는 모델이 대화의 흐름에 민감하게 반응함을 보여줍니다.
둘째, 일부 모델들은 직접적인 질문에서는 의견을 가진 것처럼 보이지만, 지속적이고 심층적인 논쟁(sustained arguments)이 전개되면 사용자의 입장을 반영하는 '미러링(mirroring)' 경향으로 약화되는 모습을 보였습니다. 마지막으로, 공격자(attacker)의 능력이 중요한 것은 기존에 확립된 의견을 무너뜨려야 할 때이며, 모델 자체가 중립적인 상태에서 시작할 때는 그 중요성이 상대적으로 낮다는 점이 밝혀졌습니다.

본 벤치마크는 브라질 포르투갈어권으로 가치관, 과학적 합의, 철학, 경제 정책 등 38개 주제에 대해 구현되었으며, 총 13개의 어시스턴트 모델을 대상으로 테스트를 진행했습니다. 이는 LLM의 신뢰성과 공정성을 평가하는 데 중요한 기준점을 제시합니다.