LTCM이 망한 이유를 나의 quant-agent가 두 번 다시 밟지 않도록 〜 자율형 투자 에이전트 제작 기록

이 기사의 목적

이 기사는 "AI에게 주식을 사게 해서 돈을 버는 이야기"가 아니다.

오히려 반대다.

처음에 만들었어야 했던 것은 이기는 AI가 아니라, 자신의 과신을 멈추게 하는 AI였다.

나는 현재 대학원생으로 AI 에이전트를 과학에 적용하는 이른바 AI for Science 연구를 수행하고 있다. 그곳에서 AI 에이전트 설계 연습 겸 투자 공부로서, 자율형 투자 에이전트 quant-agent (이름 모집 중)를 만들고 있다. 대상은 Polymarket, 가상화폐, 미국, 일본 주식 등 여러 자산(Asset)이다. 처음에는 AI가 시장을 읽고, 전략을 검증하며, 매매 판단까지 지원하는 시스템을 목표로 했다.

하지만 개발을 진행하면서 얻은 가장 큰 배움은 "AI에게 사게 하는 것"이 아니었다.

그것은 AI와 검증 시스템이 나의 편의에 맞춘 가설을 죽이게 만드는 것이었다.

1. 서론: AI에게 "사게 하기" 전에, AI에게 "멈추게 하기"

투자 AI를 만든다고 하면, 많은 사람은 "AI가 오를 종목을 맞히는 것"이나 "자동으로 매매하여 이익을 내는 것"을 상상할 것이라 생각한다. X(구 Twitter)에서도 수많은 정체불명의 멋진 UI와 노드가 연결된 무언가가 공간을 돌아다니며 자산이 지수 함수적으로 늘어나는 것을 보았을 것이다.

단세포적인 나는 처음에는 솔직히 그런 기대가 있었다.

AI에게 시장을 읽게 하고, 백테스트 (Backtest)를 돌리고, 유망한 전략을 찾아내어 자동으로 매매 판단까지 진행한다. 만약 그것이 잘 된다면, 개인이라도 기관 투자자와 같은 리서치 프로세스를 돌릴 수 있지 않을까.

그렇게 생각하며 quant-agent (더 좋은 이름이 필요하다)를 만들기 시작했다.

하지만 실제로 개발해 보니, 처음에 필요했던 것은 "이기는 전략을 찾는 AI"가 아니었다.

필요했던 것은 이기는 것처럼 보이는 것뿐인 전략을 멈추는 메커니즘이었다.

2. 왜 LTCM인가

나는 좋아하는 다큐멘터리로 '영상세기(映像の世紀)'라는 것이 있다. 영상 기술이 발전해 온 20세기 중의 어떤 토픽에 주목하여 체험할 수 있는 매우 볼만한 TV 시리즈다. 내가 대학생이었을 때, '영상세기 버터플라이 이펙트: 아인슈타인, 과학자들의 죄와 용기'를 시청했다. 당시에는 공학을 전공하는 몸으로서 과학의 근대사를 알고 싶다는 동기로 보고 있었다. 그러던 영상 후반부에 아인슈타인이 발견한 '브라운 운동'이 의외의 장소에서 활약한다는 캐치와 함께 LTCM 이야기가 나왔다.

LTCM (Long-Term Capital Management)은 퀀트 (Quant) 투자 역사에서 가장 유명한 실패 사례 중 하나이다.

노벨상급의 지성, 세련된 금융 공학, 거대한 자본, 그리고 고도의 모델.

그럼에도 LTCM은 파산했다.

이유는 단순히 "머리가 나빴기 때문"이 아니다.

오히려 머리가 좋고, 모델이 강력하며, 실적이 너무나 많았기에 자신들의 전제를 의심할 수 없게 되었다.

시장은 모델의 바깥쪽에서 무너진다.

유동성이 사라진다. 상관관계가 붕괴된다. 상정했던 분산 효과가 작동하지 않는다. 레버리지 (Leverage)가 역회전한다. 그리고 과거 데이터에서는 안전해 보였던 전략이 현실의 시장에서는 갑자기 사망한다.

이 이야기를 단순한 역사로 읽을 수도 있다.

하지만 개인으로 AI 투자 에이전트를 만들고 있으면, LTCM의 실패는 상당히 가까운 문제가 된다.

왜냐하면 개인 개발자도 쉽게 똑같은 함정에 빠지기 때문이다.

좋은 백테스트를 너무 믿는다

유리한 기간만을 본다

여러 번 시도한 것 중에서 우연히 좋았던 전략을 선택한다

OOS (Out-of-Sample)가 약한데도 본番 투입하고 싶어진다

"이번에는 다를 것"이라고 생각해 버린다

그래서 나는 LTCM을 "부활시키는" 것이 아니라, LTCM이 밟았던 함정을 나의 quant-agent가 밟지 않도록 하기 위한 실패 지식으로서 학습시키고 구현하기로 했다.

이 연재에서는 내가 만들고 있는 자율형 투자 에이전트 quant-agent의 개발 과정을 기록해 나갈 것이다.

단, 목적은 "AI에게 전자동으로 매매를 시켜 폭리를 취하는 것"이 아니다.

오히려 중심에 있는 것은 다음의 질문들이다.

• AI는 투자 가설을 어디까지 만들 수 있는가
• 백테스트 결과를 AI가 어떻게 의심하게 만들 것인가
• 인간이 놓치는 데이터 리크 (Data Leak)나 과적합 (Overfitting)을 어떻게 검지할 것인가
• 여러 자산을 다루는 투자 에이전트는 어떤 설계가 될 것인가
• 최종적으로 AI는 "사는 이유"뿐만 아니라 "사서는 안 되는 이유"를 제시할 수 있는가

투자는 가설 생성, 데이터 수집, 검증, 실패의 기록, 의사 결정, 리스크 관리가 모두 담겨 있다.

즉, 자율형 AI 에이전트 (AI Agent) 설계를 배우기에는 상당히 엄격하면서도 상당히 흥미로운 주제라고 생각한다.

이 연재에서는 투자 그 자체뿐만 아니라, AI 에이전트를 어떻게 설계하고, 어떻게 폭주하지 않게 하며, 어떻게 인간의 판단을 보조하게 하고, 궁극적으로 어떻게 자율화 (Autonomization)로 연결할지에 대해서도 써 내려갈 것이다.

다음 회차는 자율형 투자 에이전트를 어떻게 설계할 것인가에 대해 나의 생각을 써보려 한다.