훈련이 필요 없는 슬라이딩 윈도우 적응을 위한 NLL 가이드 기반 전체 주의력(Full-Attention) 레이어 선택

요약

긴 문맥 추론 효율성을 높이기 위해 어떤 레이어에 전체 주의력(Full-attention)을 유지할지 결정하는 NLL 가이드 레이어 선택 방법을 제안합니다. 훈련 없이 NLL 저하를 측정하여 레이어 중요도를 판단하며, Qwen3-4B 실험에서 적은 계산 자원으로도 높은 정확도를 달성했습니다.

핵심 포인트

• NLL 기반의 훈련이 필요 없는(Training-free) 레이어 선택 방식 제안
• 전체 주의력 레이어를 1/4만 사용해도 기존 베이스라인 수준의 성능 유지
• 계산 예산을 절반으로 줄이면서도 높은 정확도 확보
• 장거리 주의력 요구 사항과 레이어 민감도 간의 상관관계 입증