분포 예측을 위한 양자 토큰(Quantile Tokens) 기반 회귀 모델

대규모 언어 모델(LLM) 기반의 텍스트 회귀 응용 분야에서는 단순히 단일 값(point value)을 예측하는 것을 넘어, 전체 조건부 분포(conditional distribution)를 예측해야 하는 경우가 빈번합니다. 본 논문은 이러한 '분포 회귀(distributional regression)' 문제를 경험적 양자(empirical-quantile) 감독 하에 연구하며, 목표 분포를 밀집된 양자 그리드(dense grid of quantiles)로 표현하는 방식을 사용합니다.

기존 접근 방식의 두 가지 주요 한계점은 다음과 같습니다. 첫째, 분포 추정치에 대한 국소적 근거(local grounding)가 부족하고, 둘째, 입력과 양자 출력 사이에 간접적인 병목 현상을 유발하는 공유 표현(shared representations)에 의존한다는 점입니다.

이를 해결하기 위해 Quantile Token Regression을 제안합니다. 이 방법은 전용 양자 토큰(dedicated quantile tokens)을 입력 시퀀스 자체에 삽입하여, 셀프-어텐션(self-attention) 메커니즘을 통해 각 양자에 대한 직접적인 입출력 경로를 가능하게 하는 최초의 작업입니다. 나아가, 이러한 양자 토큰들을 검색(retrieval) 기법으로 보강합니다. 이 과정에서 의미적으로 유사한 이웃 인스턴스(neighbor instances)와 그들의 경험적 분포 정보를 통합하여, 예측에 지역적인 증거 기반을 제공함으로써 모델의 신뢰도를 높입니다.

또한, 본 논문은 양자 회귀 손실 함수(loss functions for quantile regression)에 대한 최초의 이론적 분석을 제공하며, 각 분포 목표가 어떤 최적화 과정을 수행하는지 명확히 설명합니다.

1.7B부터 14B 매개변수 규모의 LLM을 사용하여 Inside Airbnb 및 StackSample 벤치마크 데이터셋에서 실험한 결과, 이웃 정보를 통합한 양자 토큰 방식이 기존 베이스라인 대비 일관되게 우수한 성능을 보였습니다. 구체적으로, 평균 절대 오차율(MAPE)이 약 4 포인트 낮았으며, 예측 구간(prediction intervals)은 2배 더 좁아지는 결과를 얻었습니다. 특히, 상대적으로 작고 난이도가 높은 데이터셋에서 양자 토큰의 효과가 두드러지게 나타나며, 훨씬 더 날카롭고 정확한 분포를 생성할 수 있음을 입증했습니다.