EASE-TTT: 긴 문맥 질의응답을 위한 증거 정렬 선택적 테스트 단계 훈련 (Evidence-Aligned Selective

긴 문맥 질의응답 (Long-context QA)은 정답을 포함하는 증거가 입력값에 이미 존재하더라도 작은 언어 모델 (Language Models)에게는 여전히 어려운 과제로 남아 있습니다. 기존의 문맥 내 검색 (Within-context retrieval) 방식들은 질문에 대한 후보 증거 청크 (Evidence chunks)를 찾아내고 노출시키지만, 모델이 전체 문맥 위치에 대해 어텐션 (Attention)을 할당하는 방식을 제어하는 쿼리 측 어텐션 파라미터 (Query-side attention parameters)를 조정하는 대신 입력 수준의 증거 노출 단계에서 멈춥니다. 이와 대조적으로, 쿼리 전용 테스트 단계 훈련 (Query-only Test-Time Training, qTTT)과 같은 경량 테스트 단계 적응 (Test-time adaptation) 방식들은 일반적인 스팬 수준 (Span-level) 자기 지도 학습 목적 함수 (Self-supervised objectives)가 현재의 정답을 뒷받침하는 문맥 위치가 어디인지 식별하지 못하기 때문에 증거 위치 파악 문제를 해결하지 못한 채 남겨둡니다.

본 논문에서는 선택된 증거 청크를 해당 토큰 위치에 대한 소프트 어텐션 감독 대상 (Soft attention supervision target)으로 변환하는 문맥 내 검색 증강 테스트 단계 훈련 프레임워크인 EASE-TTT (Evidence-Aligned SElective Test-Time Training)를 제안합니다. EASE-TTT는 전체 문맥을 검색된 청크로 교체하는 대신, 결과로 도출된 어텐션 타겟을 사용하여 쿼리 측 적응 (Query-side adaptation)을 유도하며, 적응된 모델은 원래의 전체 문맥으로부터 최종 정답을 생성합니다. 6개의 LongBench QA 태스크와 3개의 소형 디코더 전용 (Decoder-only) 언어 모델을 대상으로 한 실험 결과, EASE-TTT는 전체 문맥 추론 (Full-context inference), 검색 전용 베이스라인 (Retrieval-only baselines), 그리고 qTTT 중에서 가장 강력한 매크로 평균 (Macro-average) 성능을 달성하였으며, 이는 긴 문맥 QA에서 증거 정렬 테스트 단계 적응 (Evidence-aligned test-time adaptation)의 유효성을 입증합니다.