스타일인가 콘텐츠인가? 통제된 콘텐츠 중첩을 통한 스타일 분류기 평가

스타일 분류기(Style classifiers)는 자연스럽게 수집된 데이터에서 스타일 레이블(style labels)과 상관관계가 있는 콘텐츠 단서(content cues)를 사용할 수 있지만, 우리는 이러한 의존성을 측정할 체계적인 방법을 갖추고 있지 않습니다. 우리는 병렬 성경 번역을 기반으로 구축된 통제된 콘텐츠 중첩(controlled content overlap) 설정을 통해 이 문제를 연구합니다. 구체적으로, 우리는 중첩 파라미터 $α$를 콘텐츠 정체성(content identity)과 스타일 레이블 사이의 상호 정보량(mutual information)의 정규화된 잔차(normalized residual)로 정의하여, 스타일 클래스 간에 콘텐츠가 얼마나 공유되는지를 측정합니다: 공유되는 콘텐츠가 없는 경우($α=0$)부터 완전히 공유되는 경우($α=1$)까지를 포함합니다. RoBERTa 기반 분류기에 대한 교차 중첩 평가(Cross-overlap evaluation) 결과, 중첩이 낮은 모델은 콘텐츠 단서가 제거될 때 성능이 저하되는 반면, 중첩이 높은 모델은 더 견고하게 전이(transfer)됨을 보여줍니다. 교차 스타일 콘텐츠 검색 프로브(Cross-style content retrieval probe)는 $α$가 증가함에 따라 콘텐츠를 복구하기가 더 어려워진다는 것을 추가로 보여주며, 훈련 역학(training dynamics)은 이러한 제거가 점진적으로 발생함을 보여줍니다. 종합적으로, 이러한 결과는 통제된 중첩이 스타일 학습(style learning)과 콘텐츠 지름길(content shortcuts)을 분리하기 위한 간단한 진단 도구를 제공함을 시사합니다.