인코더 기반 언어 모델에서 저자 신호는 어디에서 나타나는가?

요약

동일한 인코더와 데이터를 사용하더라도 점수 산출 방식(scoring mechanism)에 따라 저자 식별 성능이 최대 4배까지 차이 날 수 있음을 밝힙니다. 기계론적 해석 가능성 도구를 통해 분석한 결과, 이러한 성능 격차는 표현 품질이 아닌 점수 산출기가 인코더의 어느 레이어에서 저자 신호를 통합할지 결정하는 방식에서 기인합니다.

핵심 포인트

• 저자 식별 성능의 차이는 표현 품질이 아닌 점수 산출 방식(scoring mechanism)에 의해 결정됨
• 평균 풀링(Mean pooling)은 저자 신호를 초기 및 중간 레이어에서 통합하도록 강제함
• 후기 상호작용(Late interaction) 방식은 저자 신호의 통합을 후기 레이어로 미룸
• 점수 산출기의 그래디언트 구조와 학습 역학이 이러한 성능 차이를 유도하는 핵심 요소임