자기회귀 확산으로 시장 데이터를 생성할 수 있을까?

이산적이지도 연속적이지도 않은 시계열 데이터에 확산 모델을 적용하는 과정을 훌륭하게 풀어낸 것이 이 글의 핵심임. 확산 언어 모델도 그렇지만, 확산 모델이 다양한 상황에 적용되는 모습은 언제나 흥미로움.

시장이 작동하면서 자연스럽게 생기는 불연속성을 다루려고 여러 범주를 실험한 부분이 좋았음. 범주에 따라 적용할 모델과 데이터 조건화 방식이 달라짐.
데이터와 범주를 수동으로 조정해야 한다는 점은 쓴 교훈(Bitter Lesson) 과 맞닿아 있다고 봄. 더 일반적인 모델이라면 학습을 통해 잠재 공간에서 범주를 찾아낼 것임.
이 연재는 kann FPGA 프로젝트처럼 설명 가능하면서 지연 시간도 짧을 수 있는 모델을 찾는 듯함. 더 범용적이고 불투명한 분류기도 작동할 수는 있지만, 수익을 내는 데 필요한 속도와 위험 제약을 충족하기는 어려워 보임. 다만 내 전문 분야가 아니라 요점을 완전히 잘못 짚었을 수도 있음.

시장 모델은 안정적인 정확도를 영구히 유지할 수 없음. 정확한 모델이 찾아낸 통찰은 결국 시장에 반영되고, 그러면 더 이상 정확하지 않게 되기 때문임.

이른바 매매 모델의 유효기간임. 듣고 배운 바로는 적극적으로 거래하는 모델의 평균 수명은 약 18개월이며, 이후에는 시장이 적응해 우위가 사라짐.
소문대로라면 일부 저빈도 헤지펀드의 모델은 5년 이상 유효하고 수익도 내지만, 이런 모델은 거래소 매매보다는 기본적 분석에 더 의존함.
흥미롭게도 대형 은행과 기술 중심 자산운용사들은 PyData 같은 행사나 모임을 후원하며 가끔 자체 오픈소스를 발표함. 5년 된 매매 모델의 내부 구조를 상당 부분 공개하기도 하고, 사내 UI나 시각화 라이브러리를 소개하기도 함. 후자는 개발이 사실상 완료되어 지속적인 내부 수요에 맞춰 유지보수만 하는 도구인 경우가 많음. 물론 실제로 돈을 벌어주거나 경쟁 우위를 주는 것은 아예 이야기하지 않음.

정확한 모델이라면 반드시 다른 시장 참여자가 알아챌 만큼 규모가 커진다는 전제가 깔려 있음.

모델이 시장에 그 정도 영향을 미칠 때쯤이면 이미 큰돈을 벌었을 것임. 새로운 기회도 계속 생길 가능성이 높음.
극단적으로는 우위를 확보하려는 모델이 내부 정보를 추론하기 시작할 것임. 위성 사진으로 주차장의 차량 수를 세는 방식은 이제 널리 알려졌으며, 이는 내부 정보의 대리 지표임. 결국 모델 자체보다 데이터가 더 핵심일 수 있음. 공개된 방식보다 날씨를 잘 예측하는 것만으로도 상당한 우위를 얻을 수 있음.

다른 모델들이 이미 같은 정보를 가격에 반영했을 때, 내 모델이 반대 방향으로 예측 가능하게 편향된다는 사실만 알아도 꽤 쓸모가 있음. 우위가 없는 구간과 다른 모델이 놓치는 구간을 구분해야 함.
야구 베팅에서도 핵심은 배당률을 보고 어떤 경기에 베팅하지 않을지 아는 것임. 내 예측이 라스베이거스 배당률과 너무 비슷하면 대개 우위가 사라짐. 여러 야구 방정식을 경쟁시키는 인공생명·진화 알고리즘 모델을 직접 작성해 수년간 다듬고 있으며, 최근에는 AI로 예측을 걸러 돈을 걸 만한 범위에 속하는 선택지를 추려내고 있음.

이른바 효율적 시장 가설임.

《The Man Who Solved the Market》 에 RenTech를 설명하는 멋진 대목이 있음. 대략 옮기면 “과거 시장 데이터의 빈틈을 메우려고 온갖 노력을 기울였고, 시간이 지나 가격 움직임 예측에 능숙해지자 그 빈틈을 채우는 알고리즘을 만들었다”는 내용임.
알고리즘 매매의 역사에 관심이 있다면 적극 추천함. https://amzn.to/4jNFpOS.

정말 좋아했던 책임! AI가 새로운 수학 문제를 점점 잘 풀게 되는데, RenTech의 기법도 무차별 탐색으로 찾아낼 수 있지 않을까? RenTech 직원들이 발표한 논문과 관련 연구를 AI가 읽고, 각자의 전문 분야를 매매에 어떻게 적용할지 찾아낸 뒤 실험과 백테스트로 유효한 방법을 추리는 식임. 아니면 어려운 부분은 수학보다 데이터와 거래 실행에 가까운 걸까?

이미지에서 잠재 확산이 작동하려면 잠재 공간의 적절한 표본으로부터 사실적인 이미지를 생성할 수 있는 특수한 디코더가 필요함. 이 디코더는 GAN처럼 학습하며, 픽셀 단위 오차보다 다른 신경망이 추출한 고수준 이미지 특징 등에 초점을 맞춤. 이 문제에도 그런 디코더를 만들었다면 난관을 해결했을 것 같음.

대단한 인턴십이고, 글도 밀도 높고 유익함. 미래의 인턴 지원자를 대상으로 한다니 이해되지만, 세부 내용이 놀라울 정도로 풍부함.
그런데 주문 도착 간격이 정규분포를 따른다고 왜 예상할까? 주문 하나가 도착하면 호크스 과정(Hawkes process) 처럼 다른 주문이 도착할 확률도 높아질 것임. 학생들의 토론을 유도하기 위한 작은 장치일 수도 있겠음. Jane Street 인턴들은 언제나 인상적임.

흐름 매칭(flow matching)이 DDIM보다 안정적인 이유는 Heitz의 2023년 논문을 참고하면 좋음. 두 방식은 거의 동등하지만, DDIM에 대응하는 미분방정식에는 잡음 제거 시작 시점에 발산하는 1/α 항이 있고 흐름 매칭/IADB에는 그런 발산이 없다는 점을 잘 설명함. https://arxiv.org/abs/2305.03486.

인용한 부분은 글에서 “DDPM은 이론적으로 확산 모델의 잡음 제거에 이상적이지만 발산했고, 흐름 매칭이 훨씬 잘 작동했다”는 대목일 것임.
여기서 이론적으로 이상적이라는 표현은 구체적인 의미가 있음. DDPM 손실은 정보이론적으로 이미지를 복원하는 데 필요한 오류 정정 비트 수이며, 잡음이 매우 작아지면 이 값에 특이점이 생김. 하지만 실제로는 문제가 아님. 어차피 스케줄의 로그 신호 대 잡음비(log-SNR)를 이미지 양자화 수준, 보통 9비트로 제한해야 하며, 학습으로 얻은 경계도 이 값의 10% 이내에 들어옴.
흐름 매칭은 손실에서 log-SNR 변화율을 제거하므로 발산하지 않음. 이 변화율은 스케줄 내에서 여러 자릿수 규모로 달라질 수 있어 학습할 때 중요도 샘플링을 해야 함. Kavish가 이를 빠뜨려 발산했을 가능성이 있다고 추측함.

시장에는 여러 국면이 있고, 국면이 바뀌면 움직임도 뒤집힘. 경쾌하게 오르던 시장이 얻어맞고 휘청이는 시장으로 바뀌면 예측 모델은 그대로 속아 넘어감.

짧은 인턴십 기간에 해낸 작업량이 상당하고 흥미로움. 공개 회고를 쓰고 Hacker News에 소개되기까지 했으니 Kavish가 정말 잘해냈다고 봄.