VAIOM: 연속 입력 및 이산 출력 디코더 전용 금융 시퀀스 모델링

원문 발행 2026. 07. 16. 00:10원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

VAIOM은 연속적인 금융 관측치와 이산적인 다음 토큰 예측을 결합하는 디코더 전용 트랜스포머 모델입니다. 이는 외환 봉의 확률적 다음 수익률 모델링에 사용되며, 입력과 출력 가능도를 분리하여 수치 구조 보존 및 범주형 분포 학습을 지원합니다. 테스트 결과, VAIOM은 기존 LightGBM 기준선보다 우수한 성능을 입증했습니다.

핵심 포인트

연속/이산 데이터를 결합한 디코더 전용 금융 시퀀스 모델링 기법 제시
입력 표현과 출력 가능도를 분리하여 수치 구조와 범주형 분포를 모두 학습
전체 시퀀스 감독 및 혼합 시장 상태 헤드를 통해 성능 향상 입증
2025년 테스트 기간에서 LightGBM 대비 우수한 예측 성능 기록

금융 관측치(Financial observations)는 연속적이고, 이질적이며, 노이즈가 많은 반면, 디코더 전용 다음 토큰 모델은 보통 이산적인 기호형 입력(discrete symbolic inputs)을 중심으로 구축됩니다. 우리는 순서형 수익률 모델링을 위한 벡터 입력 자기회귀 추론(Vector-Input Autoregressive Inference for Ordinal-Return Modeling, VAIOM)을 소개합니다. 이는 한 시간 간격의 외환 봉(foreign-exchange bars)에 대한 확률적 다음 수익률 모델링을 위한 디코더 전용 트랜스포머입니다. VAIOM은 입력 표현과 출력 가능도(output likelihood)를 분리합니다: 연속적인 다변량 금융 이벤트 벡터는 입력에서 수치 구조를 보존하며, 다음 변동성 정규화된 수익률 버킷에 대한 범주형 분포(categorical distribution)는 교차 엔트로피 학습(cross-entropy training) 및 가능도 평가를 지원합니다. 선택된 0.9M 하이브리드 연속 입력 모델은 연속 이벤트 특징과 범주형 자산 메타데이터, 혼합 시장 상태 수익률 헤드(Mixture-of-Market-States return head), Gap, 변동성 레짐(volatility-regime), 그리고 순서형 보조 목표(Ordinal auxiliary objectives)를 결합하며 전체 시퀀스 감독(full-sequence supervision)을 수행합니다. 모델과 전처리 과정은 2024년 이전 학습 데이터(Train data)를 사용하여 적합되었으며, 모델은 2024년 하반기 검증(Validation)에서 선택되고 두 개의 2025년 테스트 기간에 재적합 없이 평가되었습니다. 세 가지 독립적인 학습 시드(training seeds)에 걸쳐, 모든 모델은 두 테스트 반기 모두에서 고정된 단일 봉 LightGBM 기준선보다 성능이 우수했습니다. 표준 체크포인트의 경우, LightGBM 대비 이득은 이벤트당 0.029 및 0.043 비트입니다. 검증 실험은 연속 입력이 동일한 범주형 수익률 목표 하에서 이산 토큰 입력보다 개선됨을 보여주고, 전체 시퀀스 감독이 마지막 위치 학습(last-position training)보다 개선되며, 보조 표현 형성(auxiliary representation shaping)과 혼합 구조의 수익률 헤드가 결합되어 통제된 비교에서 수익률 가능도를 향상시킨다는 것을 보여줍니다. 지지적인 용량 연구(supporting capacity study)는 평가된 가장 작은 완전한 아키텍처가 현재 코퍼스에서 가장 강력한 검증 가능도에 도달함을 발견했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

VAIOM: 연속 입력 및 이산 출력 디코더 전용 금융 시퀀스 모델링

요약

핵심 포인트

댓글