인코더 기반 언어 모델에서 저자 신호는 어디에서 나타나는가?
요약
동일한 인코더와 데이터를 사용하더라도 점수 산출 방식(scoring mechanism)에 따라 저자 식별 성능이 최대 4배까지 차이 날 수 있음을 밝힙니다. 기계론적 해석 가능성 도구를 통해 분석한 결과, 이러한 성능 격차는 표현 품질이 아닌 점수 산출기가 인코더의 어느 레이어에서 저자 신호를 통합할지 결정하는 방식에서 기인합니다.
핵심 포인트
- 저자 식별 성능의 차이는 표현 품질이 아닌 점수 산출 방식(scoring mechanism)에 의해 결정됨
- 평균 풀링(Mean pooling)은 저자 신호를 초기 및 중간 레이어에서 통합하도록 강제함
- 후기 상호작용(Late interaction) 방식은 저자 신호의 통합을 후기 레이어로 미룸
- 점수 산출기의 그래디언트 구조와 학습 역학이 이러한 성능 차이를 유도하는 핵심 요소임
동일한 사전 학습된 인코더 (pretrained encoder), 데이터, 그리고 손실 함수 (loss)로 미세 조정된 저자 식별 (authorship attribution) 모델들은 오직 점수 산출 방식 (scoring mechanism)에 따라 성능에서 4배까지 차이가 날 수 있습니다. 우리는 기계론적 해석 가능성 (mechanistic interpretability) 도구를 사용하여 이러한 격차를 설명합니다. 단어 길이, 문장 부호 밀도, 기능어 빈도 (function-word frequency)와 같은 문체적 특징들은 별도의 설정이 없는 제어용 인코더 (control encoder)를 포함한 모든 모델의 모든 레이어에서 동일하게 나타나므로, 이 격차는 표현 품질 (representation quality)에서 기인하는 것이 아닙니다. 대신, 인과적 개입 (causal intervention)을 통해 점수 산출기 (scorer)가 인코더가 저자 신호를 통합하는 위치를 결정한다는 것을 보여줍니다. 평균 풀링 (Mean pooling)은 초기에서 중간 레이어까지 통합을 강제하는 반면, 후기 상호작용 (late interaction)은 이를 후기 레이어로 미룹니다. 우리는 더 나아가 각 점수 산출기의 그래디언트 구조 (gradient structure)로부터 이러한 차이를 도출하였으며, 학습 역학 (training dynamics)은 그 차이에서 비롯되는 뚜렷한 학습 궤적 (learning trajectories)을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기