LLM 벤치마크 데이터셋은 오염에 저항할 수 있어야 한다

벤치마크 데이터셋은 LLM (Large Language Models)의 재현 가능하고, 신뢰할 수 있으며, 변별력 있는 평가를 위해 매우 중요합니다. 그러나 최근 연구들에 따르면 많은 벤치마크 데이터셋이 사전 학습 코퍼스 (pretraining corpora)에 포함되어 있는데, 즉, $\textit{오염 (contaminated)}$되어 있으며, 이는 모델 일반화 (generalization)의 신뢰할 수 있는 척도로서의 가치를 떨어뜨립니다. 본 논문에서 우리는 벤치마크 데이터셋이 $\textit{오염 저항성 (contamination-resistant)}$을 가져야 한다고, 즉 $\textit{학습 불가능 (unlearnable)}$해야 하지만 $\textit{추론 (inference)}$은 지원해야 한다고 주장합니다. 이를 달성하기 위해, 첫째, 우리는 벤치마크 데이터셋 오염의 광범위한 유행을 강조하고 오염 저항성 데이터셋의 특성을 개괄합니다. 둘째, Transformer 아키텍처에서 추론 (inference) 파이프라인과 학습 (training) 파이프라인 사이의 비대칭성을 어떻게 활용하여 오염 저항성을 지원할 수 있는지 강조합니다. 셋째, 이러한 데이터셋을 다양한 LLM 아키텍처 전반에서 상호 운용 가능하게 만들기 위한 수학적 발전을 개괄합니다. 위 내용을 바탕으로, 우리는 다음과 같은 방법을 통해 LLM 벤치마킹의 신뢰성을 보장할 것을 커뮤니티에 촉구합니다: (i) 새로운 오염 저항성 방법론의 발전, (ii) 지원 방법 및 플랫폼의 개발, (iii) 기존 평가 파이프라인에 오염 저항성 벤치마크 도입.