LM 데이터 기여도 분석의 설계 공간 규명

요약

본 논문은 LLM의 데이터 기여도 분석 방법론을 개선하기 위해 Controlled Attribution Benchmark (CATT)를 제안합니다. 기존 평가는 여러 속성을 동시에 변화시켜 실패 원인 진단이 어려웠습니다. 연구진은 표준 교차 엔트로피 손실 대신 음의 로그 오즈 기울기를 사용하고 최상위 토큰 점수를 집계하는 방식을 통해, 기여도 성능을 크게 향상시킬 수 있음을 입증했습니다.

핵심 포인트

• CATT를 도입하여 데이터 기여도 분석 설계 공간을 탐구하며, 가상의 지식으로 정답(ground truth)을 제공함.
• 표준 방법은 국소적 인과적 증거를 문서 전체에 평균화하여 노이즈로 희석시키는 문제가 있음.
• Cross-entropy loss 대신 Negative log-odds 기울기를 사용하면 핵심 토큰들이 표면으로 드러남.
• 최상위 토큰 점수 집계 방식은 정답 회상률을 35%에서 최대 72% 포인트까지 향상시킴.