오류 제어 역학을 통한 순환 모델의 상태 추적 재고찰

요약

본 논문은 순환 모델에서의 상태 추적 능력이 단순히 이론적인 표현 능력(expressive capacity)에 의해서만 결정되는 것이 아님을 주장한다. 대신, '오류 제어' 역학이 핵심이며, 특히 아핀 순환 네트워크와 같은 모델 클래스는 숨겨진 상태 드리프트를 효과적으로 지배하여 강력한 상태 추적을 수행하지 못하고 유한 범위의 해법에 머무르는 경향이 있다. 연구는 상태 추적이 유지되려면 클래스 내 분산이 초기 클래스 간 분리보다 작아야 하며, 이 붕괴 지점은 다운스트림 정확도가 실패하는 예측 가능한 임계값임을 보여준다.

핵심 포인트

• 상태 추적의 핵심 요소는 표현 능력(expressive capacity)을 넘어 오류 제어(error control) 역학에 있다.
• 아핀 순환 네트워크와 같은 모델은 상태 분리 부분 공간을 따라 오류를 수정할 수 없어 강력한 상태 추적을 수행하지 못한다.
• 성공적인 상태 추적은 클래스 내 분산이 초기 클래스 간 분리보다 작을 때만 가능하다는 이론적 한계를 제시한다.
• 구별 가능성 비율(distinguishability ratio)과 가독성 임계값 사이의 교차점은 모델 성능 실패 지평을 예측하는 중요한 지표가 된다.