Decodability 를 넘어: 해석 가능한 특징으로 언어 모델 표현 재구성

요약

기존의 디코딩 프로브(Decoding Probe) 방식이 가진 한계점, 즉 특징 기여도 비교 불가 및 상관관계 문제 등을 해결하기 위해 '인코딩 프로브(Encoding Probe)' 접근 방식을 제안합니다. 이 방법은 해석 가능한 다양한 특징들(음향학, 발음학, 문법 등)을 사용하여 언어 모델의 내부 표현을 재구성하는 것을 목표로 합니다. 실험 결과는 화자 관련 효과가 학습 목표에 따라 크게 달라지며, 문법적 및 어휘적 특징이 독립적으로 기여함을 입증하여, 이 방법이 모델 해석에 새로운 관점을 제공함을 보여줍니다.

핵심 포인트

• 기존의 디코딩 프로브는 특징 간 비교나 상관관계 문제로 한계가 있다.
• 새로운 '인코딩 프로브(Encoding Probe)'를 제시하여, 해석 가능한 특징을 이용해 모델 내부 표현을 재구성한다.
• 음향학, 발음학, 문법 등 다양한 특징 집합으로 텍스트 및 음성 트랜스포머 모델을 평가했다.
• 실험 결과는 화자 관련 효과가 학습 목표에 따라 변하며, 문법적/어휘적 특징이 독립적으로 기여함을 보여준다.