볼록 재구성(Convex Reconstruction) 및 그래디언트 캐싱(Gradient Caching)을 통한 LLM의 효율적인 테스트 시간

테스트 시간 미세 조정 (Test-time finetuning, TTFT)은 관련 시퀀스를 검색하고, 이를 통해 모델을 업데이트한 다음 프롬프트를 평가함으로써 각 프롬프트에 맞춰 언어 모델을 적응시키는 빠르게 진화하는 패러다임입니다. 그러나 TTFT는 속도가 빨라야만 실용적입니다. 선택(selection)과 미세 조정(finetuning)이 모두 쿼리당 발생하므로, 각각이 직접적인 병목 현상(bottleneck)이 됩니다. 기존 방법들은 속도를 위해 품질을 희생합니다. 빠른 검색은 종종 중복되는 경우가 많으며, 더 강력한 다양성 인식 선택(diversity-aware selection)은 쿼리당 과도한 비용을 추가합니다. 우리는 이러한 두 가지 병목 현상을 모두 해결하는 TTFT에 대한 기하학적 접근 방식인 HullFT를 소개합니다. 쿼리가 주어지면, HullFT는 먼저 효율적인 투영 없는 (projection-free) Frank-Wolfe 최적화를 사용하여 쿼리 임베딩 (query embedding)을 소수의 학습 시퀀스의 희소 볼록 결합 (sparse convex combination)으로 표현합니다. 이는 본질적으로 관련성이 있고 다양한 서포트 세트 (support set)를 생성합니다. 그런 다음 우리는 기하학적 정수화 (geometric integerization) 절차를 통해 분수 형태의 볼록 가중치 (convex weights)를 미세 조정을 위한 정확한 정수 다중 집합 (integer multiset)으로 변환합니다. 결과적으로 생성된 다중도 (multiplicities)는 자연스럽게 반복된 예시를 생성하며, 우리는 이를 그래디언트 재사용 (Gradient Reuse)을 통해 활용하여 반복되는 미세 조정 단계 전반에 걸쳐 순전파-역전파 (forward-backward) 계산 비용을 분할 상환 (amortize)합니다. 우리의 실험은 HullFT가 현재의 최첨단 (state-of-the-art) TTFT 방법들보다 품질-효율성 트레이드오프 (quality-efficiency tradeoff)를 개선하며, 실질적으로 훨씬 낮은 총 실행 시간 내에 더 낮은 bits-per-byte를 달성함을 보여줍니다.