LLM 행동 이해를 위한 데이터 영향력(Data-Influence)과 데이터 유사도(Data-Similarity) 간의 일치도 정량화

LLM(Large Language Model)의 행동을 이해하는 한 가지 방법은 그 출력을 학습 데이터로 추적하는 것입니다. 출력 추적을 위해 일반적으로 두 가지 유형의 측정 방식인 데이터 유사도(data-similarity)와 데이터 영향력(data-influence)이 사용됩니다. 전자는 비용이 저렴한 반면, 후자는 더 정확한 것으로 여겨집니다. 많은 연구가 정답(ground-truth) 태스크에 대해 이 두 방식을 비교해 왔지만, 출력 추적에 대한 그러한 비교는 존재하지 않았습니다. 본 연구에서는 이러한 공백을 메우고 두 측정 방식 사이의 공통점과 차이점을 정밀하게 정량화합니다. 우리는 먼저 각 측정 방식에 따라 학습 문서를 순위 매긴 후, 두 순위 사이의 중첩(overlap)을 계산함으로써 이를 수행합니다. 우리의 주요 발견은 두 순위가 상당히 일치하지만, 그들 사이에 비대칭성(asymmetry)이 존재한다는 것입니다. 즉, 데이터 유사도의 상위 문서들이 데이터 영향력에 의해 부여받는 순위가 그 반대의 경우보다 더 일관적입니다. 이 결과는 OLMo2-1B, Qwen3-1.7B, LlaMa3.2-1B, Gemma3-1B, 그리고 GPT2를 포함한 다양한 실험 전반에서 유효합니다. 우리는 이러한 비대칭성을 활용하여, 비용이 많이 드는 데이터 영향력을 사용하여 데이터 유사도의 결과를 정교화함으로써 유리한 비용-정확도 트레이드오프(cost-accuracy trade-off)를 얻습니다.