LLM 벤치마크 데이터셋은 오염에 저항할 수 있어야 한다

요약

LLM의 성능 평가를 위한 벤치마크 데이터셋이 사전 학습 데이터에 포함되어 발생하는 '오염(contamination)' 문제를 지적합니다. 본 논문은 모델이 학습할 수는 없지만 추론은 가능하도록 설계된 '오염 저항성(contamination-resistant)' 데이터셋의 필요성을 주장합니다. 이를 위해 Transformer 아키텍처의 학습과 추론 파이프라인 간 비대칭성을 활용한 수학적 접근법과 새로운 방법론 도입을 제안합니다.

핵심 포인트

• 벤치마크 데이터셋이 사전 학습 코퍼스에 포함되어 모델의 일반화 능력을 왜곡하는 오염 문제가 심각함
• 오염 저항성 데이터셋은 학습은 불가능(unlearnable)해야 하지만 추론(inference)은 지원해야 함
• Transformer 아키텍처의 학습 및 추론 파이프라인 간 비대칭성을 활용한 해결책 제시
• 다양한 LLM 아키텍처 간 상호 운용성을 위한 수학적 발전의 필요성 강조
• 오염 저항성 방법론 발전, 지원 플랫폼 개발, 기존 평가 파이프라인 도입 촉구