훈련이 필요 없는 슬라이딩 윈도우 적응을 위한 NLL 가이드 기반 전체 주의력(Full-Attention) 레이어 선택

레이어 전반에 걸쳐 전체 주의력(Full-attention)과 슬라이딩 윈도우 주의력(Sliding-window attention)을 혼합하는 하이브리드 주의력 모델은 효율적인 긴 문맥 추론(Long-context inference)을 위한 유망한 접근 방식을 제공하지만, extit{어떤 레이어}가 전체 주의력을 유지해야 하는가라는 핵심적인 질문은 여전히 해결되지 않은 상태로 남아 있습니다. 기존 방법들은 고정된 주기적 패턴을 사용하거나, 다운스트림 정확도(Downstream accuracy)에 중요한 요소를 포착하지 못할 수 있는 주의력 기반 휴리스틱(Attention-based heuristics)을 사용합니다. 우리는 NLL 가이드 레이어 선택(NLL-guided layer selection)을 제안합니다. 이는 해당 레이어가 전체 주의력 대신 슬라이딩 윈도우를 사용할 때 정답 토큰(Answer tokens)에 대한 음의 로그 가능도(Negative Log-Likelihood, NLL) 저하를 계산함으로써 각 레이어의 중요도를 직접 측정하는 훈련이 필요 없는(Training-free) 방법입니다. Qwen3-4B를 사용한 LongMemEval 테스트에서, 우리의 방법은 전체 주의력 레이어를 1/4만 사용하고도 64.6%의 정확도를 달성하였으며, 이는 계산 예산(Computational budget)을 절반으로 줄이면서도 1/2-FA 주기적 베이스라인(65.0%)과 일치하는 성능입니다. NLL 가이드 선택은 SWAA에서 보고된 주기적 1/4-FA 베이스라인보다 10.4%포인트 높고, 매칭된 LightTransfer 스타일의 베이스라인보다 26.4%포인트 높은 성능을 보입니다. 디컨파운딩(De-confounding) 분석 결과, 이 신호는 일반적인 레이어 민감도(Layer sensitivity)보다는 장거리 주의력(Long-range attention) 요구 사항과 일치함을 보여줍니다. 이 방법은 단 한 번의 약 15분 정도의 캘리브레이션(Calibration)만을 필요로 하며, 긴 문맥 LLM 배포를 위한 효율성-정확도 파레토 프런티어(Efficiency-accuracy Pareto frontier)를 진전시킵니다.