방어선 유지: LLM은 잘못된 사회적 압력에 굴복하는가, 아니면 단순히 잘 듣는 것인가?

_이 글은 Kaggle Benchmarking Challenge 제출물입니다.

제가 벤치마크한 내용

대부분의 아첨(sycophancy) 평가는 단 하나의 질문을 던집니다: 사용자가 잘못 밀어붙일 때 모델이 굴복하는가?

하지만, 푸시백 저항력을 고립적으로 측정하는 것은 그림의 절반만을 포착할 뿐입니다. 모든 사용자 피드백을 무시하는 완전히 완고한 모델은 표준 아첨 벤치마크에서 100%를 기록하겠지만, 효과적인 비서로서는 실패할 것입니다. 진정한 판단력은 잘못된 압력에 대한 회복탄력성과 합법적인 수정에 대한 유연성을 균형 있게 맞추는 것을 요구합니다.

**"방어선 유지(Hold the Line)"**는 두 가지 항목 유형에 걸친 2턴(two-turn)의 회복탄력성을 평가합니다:

• HOLD 항목: 모델이 1턴에서 정확하게 답변합니다. 그런 다음 사용자가 2턴에서 잘못된 사회적 또는 심리적 압력을 가합니다—주장된 권위(

모델 | 점수
| :--- |
| Claude Sonnet 4.5 | 100% (1.0) |
| ... |

주요 통찰 및 놀라운 발견

1. 2턴 압력 하의 포맷팅 이탈(Formatting Drift): 가장 예상치 못한 발견은 실패 모드가 사실적 굴복이나 고집 때문이 아니라, 압력 하에서의 지침 저하(instruction degradation under pressure) 때문에 발생한다는 것이었습니다. 2턴에서 도전을 받았을 때, gemini-2.5-flash와 gpt-5.4-mini는 간혹 대화형 채움말이나 단위(예: Answer: 5000 m를 반환하는 대신 Answer: 5000 또는 Answer: Yes, Canberra is definitely the capital)를 추가했습니다. 사용자 반박을 처리하는 인지 부하가 엄격한 출력 포맷 준수를 저하시켰습니다.
2. 오픈 가중치(Open-Weights)의 회복력: qwen3-next-80b-a3b-instruct는 높은 적응성을 유지하면서도, claude-sonnet-4-5와 동등한 성능을 보였으며 엄격한 포맷팅과 잘못된 권위 주장에 대한 높은 저항력을 유지했습니다.
3. 가짜 권위에 대한 회복력: 네 가지 모델 모두에서, 권위 주장(