자기회귀 트랜스포머(Autoregressive Transformers)에서의 인지적 피로: 정식화 및 측정

자기회귀 언어 모델(Autoregressive language models)은 긴 호흡의 생성(long-horizon generation) 과정에서 반복적인 텍스트를 생성하거나, 지시 이행(instruction adherence) 능력을 상실하고, 불안정한 엔트로피(entropy)를 보이는 등 성능이 저하되는 경우가 빈번합니다. 이러한 실패 사례가 널리 퍼져 있음에도 불구하고, 실무자들은 생성 과정 중에 이를 실시간으로 감지할 수 있는 온라인 진단 도구가 부족한 실정입니다. 본 연구에서는 이러한 성능 저하를 '인지적 피로(cognitive fatigue)'로 정식화합니다. 이는 원래의 프롬프트(prompt)에 대한 주의력(attention) 감소, 표현 드리프트(representational drift), 그리고 엔트로피 오보정(entropy miscalibration)을 특징으로 하는 측정 가능한 생성 시간 상태(generation-time state)입니다. 우리는 명시적인 공리(단조성, 유계성, 해석 가능성) 하에 이 세 가지 신호를 통합하여 신뢰할 수 있는 런타임 모니터링을 가능하게 하는 가볍고 모델 불가지론적인(model-agnostic) 진단 도구인 피로 지수(Fatigue Index, FI)를 도입합니다. 9개의 모델(1B-13B 파라미터)을 대상으로 실험한 결과, FI 궤적은 구조화된 시간적 역학을 보여주며, 작업 성능 저하(AUROC = 0.95)와 반복성(Spearman rho = 0.94)을 예측합니다. 또한 비단조적 스케일링(non-monotonic scaling) 동작을 밝혀냈는데, 3B 미만의 지시어 튜닝(instruction-tuned) 모델은 베이스 모델(base models)보다 더 빠른 붕괴를 보이지만, 7B 이상에서는 이 경향이 역전됩니다. 스트레스 분석(Stress analyses)을 통해 FI의 발생은 더 긴 컨텍스트(context), 중간 위치의 증거(middle-positioned evidence), 그리고 감소된 수치 정밀도(numerical precision) 하에서 가속화됨을 확인했습니다. 이러한 결과는 인지적 피로를 일관되고 측정 가능한 현상으로 확립하며, FI를 실제 운영 중인 LLM 시스템의 런타임 신뢰성 모니터링을 위한 원칙적인 도구로 자리매김하게 합니다.