장문 컨텍스트 LLM을 위한 자기 주도 테스트 시간 학습 (Self-Guided Test-Time Training)

요약

본 논문은 LLM이 장문 컨텍스트를 효과적으로 활용하는 데 어려움을 겪는 문제를 지적하며, 테스트 시간 학습(TTT)의 한계를 극복한 Self-Guided TTT (S-TTT) 방법을 제안합니다. S-TTT는 모델이 적응하기 전에 관련성 높은 증거 스팬을 스스로 식별하여, 선택된 스팬에만 언어 모델링 훈련 목표를 적용하는 방식입니다. 이 방법은 LongBench-v2와 LongBench-Pro에서 최대 15%의 성능 향상을 입증했습니다.

핵심 포인트

• 장문 컨텍스트 활용도를 높이기 위해 Self-Guided TTT (S-TTT) 제안
• 무작위 스팬 사용 시 노이즈 발생 및 성능 저하 문제 해결
• 모델이 스스로 관련 증거 스팬을 식별하여 적응에 활용
• LongBench 벤치마크에서 최대 15%의 정확도 향상 입증