공명적 문맥 앵커링 (Resonant Context Anchoring): 추론 시 어텐션 라우팅과 신호 이득의 분리

대규모 언어 모델 (LLMs)은 내부의 파라미터 메모리 (parametric memory)와 충돌하는 입력 증거에 직면했을 때 빈번하게 "문맥적 무시 (contextual disregard)" 현상을 보이며, 이는 지속적인 사실적 환각 (factual hallucinations)으로 이어집니다. 기존의 완화 전략들은 주로 특정 뉴런 활성화를 억제하거나 계산 비용이 많이 드는 대조적 디코딩 (contrastive decoding) 메커니즘을 사용하는 데 의존하며, 이는 종종 퍼플렉시티 (perplexity)를 증가시키거나 추론 지연 시간 (inference latency)을 크게 높이는 결과를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 잔차 스트림 (residual stream) 신호 역학의 관점에 기반한 경량 추론 시 개입 방법인 공명적 문맥 앵커링 (Resonant Context Anchoring, RCA)을 제안합니다. RCA는 심층 네트워크를 통한 전파 과정에서 외부 증거의 신호 감쇠 (signal attenuation)를 해결하는 것을 목표로 합니다. 핵심 메커니즘은 셀프 어텐션 (self-attention) 모듈 내에서 라우팅 로직 (routing logic)과 정보 크기 (information magnitude)를 직교적으로 분리하는 것을 포함합니다. 소프트맥스 (softmax) 적용 전의 원시 어텐션 점수 (raw pre-softmax attention scores)를 의미론적 정렬 (semantic alignment)의 즉각적인 지표로 활용함으로써, 우리는 비선형 정류 (non-linear rectification)를 통해 동적 이득 필드 (dynamic gain field)를 구축하여 어텐션 확률 분포를 변경하지 않으면서도 문맥 토큰 (context tokens)에 해당하는 가치 벡터 (value vectors)의 노름 (norms)을 선택적으로 증폭합니다. 이 메커니즘은 잔차 스트림 혼합물 내에서 입력 증거의 신호 대 잡음비 (signal-to-noise ratio, SNR)를 효과적으로 높여, 추론 과정에서 생성 궤적 (generation trajectory)을 진실된 문맥에 견고하게 고정 (anchoring)합니다. Llama-3 모델 시리즈에 대한 광범위한 실험을 통해 RCA가 여러 사실적 일관성 및 강력한 지식 충돌 작업 전반에서 문맥적 충실도 (contextual faithfulness)를 크게 향상시키고 파라미터 환각 (parametric hallucinations)을 효과적으로 억제함을 입증했습니다. 또한, RCA가 별도의 학습이 필요 없고 계산 비용이 거의 들지 않는 플러그 앤 플레이 (plug-and-play) 모듈로서, 모델의 일반적인 언어 이해 능력을 유지하면서도 충실도와 유창성(fluency) 측면에서 파레토 개선 (Pareto improvement)을 달성함을 확인했습니다.