추론 연산의 경계(Inference-Compute Frontier)와 지정가 주문장(Limit Order Book) 예측을 위한 지연 시간
요약
지정가 주문장(LOB) 예측에서 추론 연산량과 예측 손실 사이의 스케일링 법칙을 연구합니다. 연구 결과, 연산량과 손실 사이에는 거듭제곱 법칙이 성립함을 발견했으며, 이를 바탕으로 지연 시간을 최소화하면서 성능을 극대화한 FastBiNLOB 아키텍처를 제안합니다.
핵심 포인트
- LOB 예측에서 추론 연산량과 예측 손실 간의 스케일링 법칙 확인
- 연산량과 손실 관계는 거듭제곱 법칙(Power Law)으로 잘 설명됨
- 지연 시간(Latency)은 단순 연산량과 일치하지 않는 독립적 요소임
- 저지연·고성능을 위한 새로운 LOB 믹서 FastBiNLOB 제안
우리는 지정가 주문장 (Limit Order Book, LOB) 예측에서 스케일링 법칙 (scaling-law) 스타일의 추론 연산 경계 (inference-compute frontier)가 나타나는지 연구합니다. FI-2010 데이터셋과 작은 결정 트리 (decision trees)부터 신경망 LOB 아키텍처에 이르는 다양한 모델 세트를 사용하여, 예측 손실 (predictive loss) 대 구조적 순방향 작업량 (structural forward work)의 실제 경험적 경계가 거듭제곱 법칙 (power law)에 의해 잘 요약된다는 것을 발견했습니다. 특히, MLPLOB를 하나의 아키텍처 제품군으로 제외했을 때, 저연산 및 중연산 비(非) MLPLOB 경계에 대한 거듭제곱 법칙 피팅은 여러 자릿수(orders of magnitude)에 걸쳐 외삽(extrapolate)되며, 제외된 고연산 MLPLOB 타겟 경계에 대해 $R^2=0.941$을 달성합니다. 지연 시간 (latency) 공간에서의 유사한 실험은 실질적으로 더 약한 결과를 보여주며, 이는 지연 시간이 단순히 노이즈가 섞인 연산이 아님을 나타냅니다. 우리는 이러한 차이를 바탕으로, 하드웨어 친화적인 시간적 및 특징 혼합 (temporal and feature mixing) 연산으로 구축된 밀집 축 분리형 (dense axis-separable) LOB 믹서인 FastBiNLOB를 제안합니다. 5개의 시드(seed)를 사용한 실험에서, FastBiNLOB는 기존에 발표된 SOTA 아키텍처들보다 현저히 낮은 지연 시간으로 발표된 $y_{10}$ 및 $y_{100}$ macro-F1 타겟을 초과 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기