증거 기반 추론 프롬프트를 사용한 코드 스멜 탐지에서의 LLM 아첨 편향 완화

요약

본 논문은 LLM의 코드 스멜 탐지 과정에서 발생하는 아첨 편향(sycophancy bias)을 체계적으로 연구했습니다. MLCQ 데이터셋을 사용한 분석 결과, 모델이 프롬프트 변화에 매우 민감하고 불안정하다는 것을 확인했습니다. 이를 해결하기 위해 증거 기반 디바이어싱 프롬프팅(EGDP)이라는 새로운 구조화된 전략을 제안하여 성능과 견고성을 크게 향상시켰습니다.

핵심 포인트

• LLM은 코드 스멜 탐지 시 아첨 편향에 취약하며, 외부 단서에 민감합니다.
• 모델의 결정 뒤집힘율(Decision Flip Rates)이 최대 72%까지 높아 불안정성이 높았습니다.
• 증거 기반 디바이어싱 프롬프팅(EGDP)을 통해 모델의 견고성을 크게 향상시킬 수 있습니다.
• EGDP는 증거 우선 추론을 강제하여 아첨 편향 완화에 효과적임을 입증했습니다.