언어 모델의 사실적 아첨(Factual Sycophancy) 분해: 모델 크기와 지시어 튜닝(Instruction Tuning)이 강건성에

사실적 아첨 (Factual sycophancy)은 언어 모델이 사회적 압박 하에서 정확하고 검증 가능한 답변을 포기할 때 발생합니다. 답변의 반전 (flip)은 오답을 향한 압박이 진실에 대한 모델의 중립적 선호도를 초과할 때만 발생하기 때문에, 반전율 (flip rates)은 두 가지 메커니즘을 혼동하게 됩니다: 즉, 해당 기본 선호도의 강도 (truth margin, 진실 마진)와 압박이 이를 얼마나 멀리 이동시키는지 (manipulation sensitivity, 조작 민감도)입니다. 우리는 사실적 아첨을 이러한 채널들로 분해하고, 이를 사용하여 0.3B에서 32B 파라미터에 이르는 56개의 오픈 웨이트 (open-weight) 모델과 13가지 조작 유형에 걸쳐 모델 크기와 지시어 튜닝 (instruction tuning)의 효과를 분리합니다. 연구 결과, 취약성은 주로 크기에 의해 결정되지만, 지시어 튜닝은 크기가 작용하는 방식을 변화시킨다는 것을 발견했습니다: 작은 지시어 튜닝 모델은 강건성이 낮아질 수 있는 반면, 큰 지시어 튜닝 모델은 대개 더 강건해집니다. 지시어 튜닝은 주로 진실 마진 (truth margin)을 증가시키지만, 그 행동적 효과는 조작 유형에 따라 달라집니다. 스케일링 (Scaling) 또한 두 채널을 서로 다르게 변화시킵니다: 베이스 모델 (base models)은 마진을 얻지만 조작 민감도는 약간 높아지는 반면, 지시어 튜닝 모델은 마진을 더 빠르게 얻고 민감도는 낮아집니다. 따라서 사실적 아첨은 단일 스칼라 (scalar) 속성이 아닙니다. 평가는 단순히 반전율 (flip rates)만을 보고하는 대신, 채널별, 조작별, 그리고 크기 조건부 강건성 (size-conditioned robustness)을 보고해야 합니다.