EASE-TTT: 긴 문맥 질의응답을 위한 증거 정렬 선택적 테스트 단계 훈련 (Evidence-Aligned Selective

원문 발행 2026. 06. 05. 13:49원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

긴 문맥 질의응답(Long-context QA) 성능을 높이기 위해 증거 정렬 기반의 테스트 단계 훈련 프레임워크인 EASE-TTT를 제안합니다. 이 방식은 검색된 증거를 어텐션 감독 대상으로 활용하여 모델이 정답 위치에 집중하도록 유도합니다.

핵심 포인트

EASE-TTT는 증거 청크를 소프트 어텐션 타겟으로 변환하여 쿼리 측 적응을 유도함
기존 qTTT 방식의 증거 위치 파악 문제를 해결하여 정렬 성능을 개선함
LongBench QA 태스크 및 소형 디코더 모델 실험에서 최상위 성능 달성
전체 문맥 추론 및 검색 전용 베이스라인보다 강력한 성능 입증

긴 문맥 질의응답 (Long-context QA)은 정답을 포함하는 증거가 입력값에 이미 존재하더라도 작은 언어 모델 (Language Models)에게는 여전히 어려운 과제로 남아 있습니다. 기존의 문맥 내 검색 (Within-context retrieval) 방식들은 질문에 대한 후보 증거 청크 (Evidence chunks)를 찾아내고 노출시키지만, 모델이 전체 문맥 위치에 대해 어텐션 (Attention)을 할당하는 방식을 제어하는 쿼리 측 어텐션 파라미터 (Query-side attention parameters)를 조정하는 대신 입력 수준의 증거 노출 단계에서 멈춥니다. 이와 대조적으로, 쿼리 전용 테스트 단계 훈련 (Query-only Test-Time Training, qTTT)과 같은 경량 테스트 단계 적응 (Test-time adaptation) 방식들은 일반적인 스팬 수준 (Span-level) 자기 지도 학습 목적 함수 (Self-supervised objectives)가 현재의 정답을 뒷받침하는 문맥 위치가 어디인지 식별하지 못하기 때문에 증거 위치 파악 문제를 해결하지 못한 채 남겨둡니다.

본 논문에서는 선택된 증거 청크를 해당 토큰 위치에 대한 소프트 어텐션 감독 대상 (Soft attention supervision target)으로 변환하는 문맥 내 검색 증강 테스트 단계 훈련 프레임워크인 EASE-TTT (Evidence-Aligned SElective Test-Time Training)를 제안합니다. EASE-TTT는 전체 문맥을 검색된 청크로 교체하는 대신, 결과로 도출된 어텐션 타겟을 사용하여 쿼리 측 적응 (Query-side adaptation)을 유도하며, 적응된 모델은 원래의 전체 문맥으로부터 최종 정답을 생성합니다. 6개의 LongBench QA 태스크와 3개의 소형 디코더 전용 (Decoder-only) 언어 모델을 대상으로 한 실험 결과, EASE-TTT는 전체 문맥 추론 (Full-context inference), 검색 전용 베이스라인 (Retrieval-only baselines), 그리고 qTTT 중에서 가장 강력한 매크로 평균 (Macro-average) 성능을 달성하였으며, 이는 긴 문맥 QA에서 증거 정렬 테스트 단계 적응 (Evidence-aligned test-time adaptation)의 유효성을 입증합니다.

AI 자동 생성 콘텐츠

원문 바로가기

EASE-TTT: 긴 문맥 질의응답을 위한 증거 정렬 선택적 테스트 단계 훈련 (Evidence-Aligned Selective

요약

핵심 포인트

댓글