표지를 보고 판단하기: 표면적 특징 누출을 방지하기 위한 LLM 진실성 벤치마크 정제

요약

본 논문은 LLM 진실성 벤치마크가 표면적 특징 누출에 취약할 수 있음을 지적합니다. 단순한 로지스틱 분류기만으로도 정답과 오답을 분리하는 현상을 발견했으며, 이에 대응하여 'Audit-Prune'이라는 메커니즘을 개발했습니다. 이 메커니즘은 표면 특징 누출이 최소화된 새로운 TruthfulQA 버전을 제공합니다.

핵심 포인트

• LLM 진실성 벤치마크는 표면적 특징 누출에 취약할 수 있습니다.
• 단순 분류기로도 정답/오답 구분이 가능하여 모델의 추론 능력을 과대평가할 위험이 있습니다.
• 'Audit-Prune' 메커니즘으로 데이터셋을 정제하는 방법을 제시했습니다.
• 표면 특징 누출이 감소된 TruthfulQA 버전을 공개합니다.