Transformer를 이용한 Counter Language 모델링에서 스택 표현(Stack Representations)의 인과적 증거

요약

Transformer 모델이 Counter Language를 처리할 때 학습하는 스택 표현의 인과적 역할을 분석한 연구입니다. 선형 프로브를 통해 추출한 스택 깊이 방향을 제거했을 때 모델의 성능이 완전히 붕괴됨을 입증했습니다.

핵심 포인트

• Transformer 내부의 스택 구조 표현 확인
• 선형 프로브를 통한 스택 깊이 예측 및 방향 추출
• 스택 표현 제거 시 순차적 정확도 0%로 급락
• 스택 표현이 모델 성능에 필수적인 인과적 요소임을 증명