Large Language Models를 위한 쿼리 조건부 테스트 시간 자기 학습 (Query-Conditioned Test-Time

Large Language Models (LLMs)는 일반적으로 고정된 파라미터(parameters)로 배포되며, 추론(inference) 시점에 더 많은 연산량을 할당함으로써 성능을 향상시키는 경우가 많습니다. 이러한 테스트 시간 스케일링(test-time scaling)은 효과적일 수 있지만, 모델의 오개념을 수정하거나 개별 쿼리(query)의 특정 구조에 모델을 적응시킬 수는 없습니다. 테스트 시간 최적화(Test-time optimization)는 추론 중에 파라미터 업데이트를 가능하게 함으로써 이러한 한계를 해결하지만, 기존 방식들은 외부 데이터에 의존하거나 쿼리 특유의 정렬(alignment)이 부족한 일반적인 자기 지도 학습(self-supervised) 목적 함수를 최적화합니다. 본 연구에서는 입력 쿼리에서 직접 유도된 감독(supervision)을 사용하여 추론 중에 모델 파라미터를 적응시키는 프레임워크인 Query-Conditioned Test-Time Self-Training (QueST)를 제안합니다. 우리의 핵심 통찰은 입력 쿼리 자체가 구조적으로 연관된 문제-해결 쌍(problem--solution pairs)을 구성하기에 충분한 잠재적 신호(latent signals)를 인코딩하고 있다는 점입니다. 이를 바탕으로 QueST는 이러한 쿼리 조건부 쌍을 생성하고, 이를 테스트 시간의 파라미터 효율적 미세 조정(parameter-efficient fine-tuning)을 위한 감독 신호로 사용합니다. 적응된 모델은 최종 답변을 생성하는 데 사용되며, 이를 통해 외부 데이터 없이도 쿼리 특화 적응(query-specific adaptation)을 가능하게 합니다. 7개의 수학적 추론 벤치마크와 GPQA-Diamond 과학적 추론 벤치마크 전반에 걸쳐, QueST는 강력한 테스트 시간 최적화 베이스라인(baselines)들을 일관되게 능가합니다. 이러한 결과는 쿼리 조건부 자기 학습(query-conditioned self-training)이 LLM의 테스트 시간 적응을 위한 효과적이고 실용적인 패러다임임을 입증합니다.