Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 언어 모델의 사전 학습 투명성을 감사하는 방법을 제시합니다. 'FMTI' 지표를 사용하여 여러 모델 계열을 분석한 결과, 후속 버전들이 이전 공개 정보를 일관되게 보존하지 못함을 발견했습니다. 따라서 변경 사항과 상속된 정보에 대한 명시적인 문서화가 필수적입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델이 어떻게 사전 학습되었는지 이해하려면 해당 모델의 데이터, 처리 절차 및 계산 자원에 대한 정보가 필요합니다. 하지만, 후속 출시 버전들이 이전 공개 정보를 보존하거나 확장하는지 여부는 여전히 불분명합니다. 우리는 2025 Foundation Model Transparency Index (FMTI)에서 제공하는 사전 학습 관련 24개 지표를 사용하여 17개 계열의 41개 모델 항목에 대한 문서 기반 감사를 수행했습니다. 우리는 전체 점수와 지표 프로필을 검토하며, 열 개의 계열에 걸쳐 24개의 인접한 비교에서 증가분, 감소분, 유지된 공개 정보를 추적했습니다. 점수는 11개 비교에서 감소했고, 6개에서 증가했으며, 7개에서는 변동이 없었습니다. 전반적으로는 38개의 지표 손실과 28개의 증가가 있었습니다. 안정적이거나 개선된 점수는 손실을 가릴 수 있습니다: OLMo-2와 OLMo-3는 세 번의 증가와 세 번의 감소에도 불구하고 동일한 총점을 받았으며, Llama-3.1은 Llama-2보다 개선되었지만 두 가지 데이터 관련 기준에 대한 공로를 잃었습니다. 또한 코퍼스 구성과 학습 컴퓨팅(training compute)에서도 격차가 지속되고 있습니다. 이러한 발견은 후기 출시 버전들이 이전의 사전 학습 공개 정보를 일관되게 보존하지 못하며, 변경 사항과 상속된 정보의 적용 가능성을 명시적으로 식별하는 문서화를 필요로 함을 시사합니다.