Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 시점별 모델을 활용하여 언어 모델이 지식을 습득하는 시간적 패턴을 분석합니다. '시간적 가변성 점수(TVS)'를 제안하여 지식의 웹 텍스트 연도 전반에 걸친 일관성을 측정할 수 있습니다. 연구 결과, 높은 TVS 항목은 학습 후반부에 성능 개선이 두드러지며, 이는 지식 습득 역동성을 진단하는 새로운 방법을 제시했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기여러 해에 걸쳐 수집된 웹 코퍼스(web corpora)로 사전 학습된 언어 모델은 일반적인 지식과 도메인 특화 지식을 모두 학습합니다. 이러한 다양한 종류의 지식이 사전 학습이 진행됨에 따라 어떻게 습득되는지는 여전히 불분명합니다. 서로 다른 연도의 웹 스냅샷으로 훈련된 최근 시점별 모델(point-in-time models)은 시간이 지남에 따라 지식의 보편성(prevalence)이 어떻게 변화하는지 탐색할 수 있는 방법을 제공합니다. 이 모델들을 사용하여, 우리는 항목의 음의 로그 우도(negative log-likelihood)가 모델 전반에 걸쳐 보이는 변동 계수(coefficient of variation)로 정의되는 시간적 가변성 점수(temporal variability score, TVS)를 제안합니다. 더 높은 점수는 해당 지식이 웹 텍스트 연도 전반에 걸쳐 일관되게 표현되지 않을 수 있음을 시사합니다. 우리는 다양한 주제를 다루는 여섯 가지 벤치마크를 여러 오픈 소스 모델 패밀리(open-source model families)의 여섯 개 모델을 사용하여 평가했습니다. 그 결과, 낮은 TVS와 높은 TVS 항목은 학습 초기에 유사하게 학습되지만, 높은 TVS 항목은 나중에 더 빠르게 개선되는 것을 발견했습니다. 사전 학습 실행이 끝날 무렵, 높은 TVS 항목은 36개의 모델-벤치마크 설정 중 34개에서 낮은 TVS 항목보다 우수한 성능을 보였으며, 평균적으로는 7.3점의 기회 정규화 정확도(chance-normalized accuracy)의 이점을 가졌습니다. 이러한 패턴은 유사한 난이도의 항목들을 비교할 때조차 지식 집약적 작업(knowledge-intensive tasks)에서 가장 강력하게 나타납니다. 우리의 발견은 사전 학습 과정 전반에 걸쳐 지식이 습득되는 방식의 차이를 드러내며, 시간적 가변성은 총체적인 벤치마크 점수를 넘어 이러한 학습 역동성(learning dynamics)을 진단하는 수단을 제공합니다.