형식 언어 작업의 학습 가능성에 대한 인과적 평가

멀티태스크 학습자 (multi-task learners)로서 언어 모델 (Language models)은 훈련 과정에서 광범위한 능력을 습득합니다. 근본적인 질문은 주어진 작업을 학습하기 위해 작업별 데이터 (task-specific data)가 얼마나 필요한가 하는 점입니다. 자연어 (natural language)에 대해 이 질문에 답하는 것은 어렵습니다. 작업들을 구분하기가 어렵고 서로 혼동을 줄 수 있기 때문입니다. 데이터 빈도 (data frequency)와 학습 가능성 (learnability) 사이의 관계를 엄격하게 조사하기 위해, 우리는 확률적 유한 오토마타 (probabilistic finite automata)로부터 유도된 형식 언어 (formal languages)를 사용하는 통제된 환경을 활용합니다. 이는 표준적인 상관관계 평가 관행 (correlational evaluation practices)이 본질적으로 결함이 있음을 입증하기 위한 방법론적 테스트베드 (testbed) 역할을 합니다. 인과 분석 (causal analysis)을 가능하게 하기 위해, 우리는 샘플링된 코퍼스 (sampled corpus)에서 목표 속성이 발생하는 빈도를 제어할 수 있게 해주는 대수적 객체인 비닝 세미링 (binning semiring)을 도입합니다. 우리는 실험 파이프라인을 인과 그래프 모델 (causal graphical model)로 공식화하고, 특정 하위 작업 (sub-tasks)의 학습 가능성을 측정하기 위해 분해된 쿨백-라이블러 발산 (Kullback-Leibler divergence) 지표를 도출합니다. 우리의 실험은 인과적 개입 (causal intervention) 없이 학습 가능성을 평가하는 것이 상관관계 분석 (correlational analysis)의 교란 요인 (confounders)으로 인해 잘못된 결론으로 이어진다는 것을 보여주며, 자연어 환경에서의 상관관계 함정에 대한 경고 역할을 합니다.