대규모 언어 모델(LLMs)에게 장문 컨텍스트 처리는 점점 더 중요해지고 있지만, 단순히 컨텍스트 창(context window)을 확장하는 것만으로는 긴 입력에 대한 효과적인 활용을 보장하지 못합니다. 입력 길이가 늘어남에 따라 정확도가 종종 저하되는 경향이 있으며, 이는 모델들이 여전히 질문과 가장 관련성이 높은 증거를 식별하고 사용하는 데 어려움을 겪고 있음을 나타냅니다. 장문 컨텍스트 활용도를 개선할 유망한 방법 중 하나는 테스트 시간 학습(test-time training, TTT)인데, 이는 테스트 컨텍스트를 인스턴스별 파라미터 적응을 위한 훈련 예시로 간주합니다. 하지만 전체 장문 컨텍스트에 TTT를 적용하는 것은 비용이 너무 많이 들고, 무작위로 샘플링된 스팬(span)으로 적응하는 것은 심각한 노이즈를 유발합니다. 장문 컨텍스트의 대부분의 스팬은 특정 질문과 관련성이 없기 때문에, 그 스팬들로 훈련하면 기본 모델의 성능을 오히려 저하시킬 수 있습니다. 우리의 예비 연구에 따르면 TTT는 훈련 스팬의 품질에 매우 민감합니다: LongBench-v2에서 무작위로 샘플링된 스팬으로 TTT를 수행하면 성능이 저하되지만, 오라클(oracle) 스팬으로 TTT를 수행하면 크게 향상됩니다. 이러한 동기 부여를 받아, 우리는 간단한 방법인 Self-Guided TTT (S-TTT)를 제안합니다: 적응하기 전에 모델이 학습해야 할 증거 스팬을 식별하고, 표준 언어 모델링 훈련 목표(language-modeling training objective)는 오직 선택된 스팬에만 적용됩니다. 두 가지 어려운 장문 컨텍스트 추론 벤치마크인 LongBench-v2와 LongBench-Pro에서 S-TTT는 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 모두의 정확도를 개선하여 최대 15%의 상대적 향상을 달성했습니다.