분포 예측을 위한 양자 토큰(Quantile Tokens) 기반 회귀 모델

요약

LLM 기반 텍스트 회귀는 단일 값 예측 대신 전체 조건부 분포를 예측해야 하는 경우가 많습니다. 본 논문은 경험적 양자(empirical-quantile) 감독 하의 분포 회귀 문제를 다루며, 기존 방식의 국소화 부족 및 간접적인 병목 현상을 해결합니다. 핵심 방법론인 Quantile Token Regression은 입력 시퀀스에 전용 양자 토큰을 삽입하여 각 양자에 대한 직접적인 입출력 경로를 구축하고, 여기에 유사 인스턴스의 분포 정보를 검색(retrieval)하여 예측의 지역적 근거를 강화합니다. 실험 결과, 이 방법론이 베

핵심 포인트

• 전용 양자 토큰을 입력 시퀀스에 삽입하는 Quantile Token Regression 기법을 도입하여 각 양자에 대한 직접적인 입출력 경로를 확보했습니다.
• 유사 인스턴스의 경험적 분포 정보를 검색(retrieval)하여 예측의 지역적 근거를 강화함으로써 모델 성능을 향상시켰습니다.
• Inside Airbnb 및 StackSample 벤치마크에서, 제안된 방법은 기존 방식 대비 MAPE가 약 4 포인트 낮고 예측 구간이 2배 더 좁은 우수한 성능을 보였습니다.