오픈 웨이트 1.189B 금융 Conformer: 다중 주파수 시계열을 위한 GQA, RoPE, SwiGLU, RevIN

지난 몇 달 동안 저희 연구팀은 14개 회계 연도(2010년~2023년; 15,030 스텝)에 걸친 1분 단위 미국 주식 봉 데이터(AAPL, NVDA, SPY, QQQ 등 15개 유동 자산)를 사용하여 1,189,135,740개의 파라미터를 가진 Financial Conformer Foundation Model을 사전 학습하고 경험적으로 감사했습니다. 저희는 단순히 긍정적인 백테스트만 선별하는 대신, 모델에 35가지 가설 검정(hypothesis tests), 1봉 실행 지연(1-bar execution delay), 그리고 상태 의존적 거래량(state-dependent turnover)을 적용했습니다:

• Scale Saturation Limit: 63개 파라미터의 선형 Ridge 회귀에서 1.189B 파라미터로 확장해도, 1분 단위 OHLCV 봉에서는 일관된 아웃-오브-샘플(out-of-sample) 우위를 보이지 못했습니다 (기간별 혼합 부호, 연도별 방향 반전). 단기 가격 예측의 병목 현상은 파라미터 용량이 아니라 정보 내용(낮은 SNR)에 있습니다.
• Adam Optimizer Diffusion: 워크 포워드 온라인 미세 조정(walk-forward online fine-tuning)을 분해한 결과, 토크나이저 경계 업데이트는 이론적 Adam Brownian 노이즈 천장의 97.9% 수준에 위치하며 (무작위 레이블 제어와 일치), 깊은 백본 가중치는 2차 모멘트 정규화(second-moment normalization)에 의해 크게 감쇠되어 통계적으로 유의미한 순방향 전이 이득을 전혀 생성하지 못했습니다 (p >= 0.50).
• Execution Friction Reality: 명백한 장기 방향 예측 가능성은 주로 프롬프트 기반의 1분 단위 오더 플로우 연속성에 기인합니다. 1봉 실행 지연을 도입하면, 2024년 순 샤프 비율(net Sharpe)이 +2.04에서 +0.48로 감소하며, 1.5 bp의 실행 수수료에서는 아웃-오브-샘플 수익률이 2025년에 -0.99, 2026년에 -1.67까지 급락합니다 (DSR <= 0.028).

모든 모델 가중치, 감사 로그 및 논문은 오픈 소스로 공개됩니다:

• Model Hub (가중치 & 체크포인트): https://huggingface.co/Ultron28/ohlcv-transformer
• Code & Telemetry: https://github.com/AirBorneAI/ohlcv-transformer
• CERN Zenodo DOI: https://doi.org/10.5281/zenodo.23466965

아키텍처 사양, 사전 학습 역학 또는 경험적 백테스트 방법론에 대해 논의할 준비가 되어 있습니다! submitted by /u/Ok-Bear5967 [link] [comments]