퀀트×AI의 가능성을 활용하기 위해 - 한계를 전제로 '도구'로 사용하는 8가지 마음가짐

본 기사에 대하여

시스템 트레이딩에 임하는 필자가 순전히 개인적인 생각을 정리한 것입니다. 퀀트(Quant)와 AI의 가능성을 부정하려는 의도는 전혀 없으며, 그 가능성을 계속 활용하기 위한 생각방식으로 작성했습니다.

퀀트와 AI의 조합 덕분에 이전에는 몇 주가 걸렸던 전략 검증이나 구현이 이제는 몇 시간 만에 가능해졌습니다. 백테스트 기반이나 AI 에이전트를 사용한 전략 연구를 하면서 그 혜택을 매일 체감하고 있습니다. 개인이 이렇게 고도화된 분석을 다룰 수 있게 된 것은 큰 가능성입니다.

한편으로는 '이렇게 좋은 도구가 있으니 반드시 이길 수 있을 것 같다'는 감각이 생기기 쉬워졌습니다. 문제는 퀀트×AI 그 자체가 아니라, 그것을 만능이라고 믿어버리는 데 있습니다. 저는 바로 이 착각이야말로 큰 손실을 초래할 수 있는 리스크라고 생각합니다.

통계학자 조지 박스(George Box)의 유명한 말이 있습니다.

"All models are wrong, but some are useful."
（모든 모델은 틀렸다. 하지만 유용한 것도 있다）

모델은 현실 그 자체가 아닙니다. 그렇기 때문에 한계를 알고서 '유용하게' 사용하는 방법을 찾는 데 의미가 있습니다. 이 말은 퀀트×AI를 대하는 방식을 잘 보여준다고 생각합니다.

본 기사에서는 한계를 전제로 퀀트×AI를 능숙하게 다루기 위한 마음가짐을, 한 실전자의 시점에서 정리해 보겠습니다.

먼저, 퀀트×AI로 무엇이 가능해졌는지 정리하겠습니다.

• 검증의 속도와 규모: 아이디어가 떠오른 순간부터 구현 및 백테스트까지 걸리는 시간이 극적으로 짧아졌습니다.
• 발상의 폭: AI와의 대화나 에이전트에 의한 탐색을 통해, 혼자서는 생각지 못했던 가설이나 시점에 도달할 수 있게 되었습니다.
• 학습의 가속: 논문 이해나 새로운 기법 습득도 AI의 도움으로 비약적으로 빨라졌습니다.
• 운용의 자동화: 데이터 획득부터 실행, 모니터링까지를 자동화함으로써 감정에 휘둘리지 않는 일관된 트레이딩이 가능해졌습니다.

연구 분야에서도 기계 학습(Machine Learning)이 기존 방식을 능가하는 예측력을 보인 사례나, LLM(대규모 언어 모델)이 뉴스 헤드라인만으로 주가 반응을 어느 정도 읽어낼 수 있었다는 보고가 나오고 있습니다.

개인 트레이더에게 이것은 정말 큰 변화입니다. 그렇기 때문에 이 가능성을 일시적인 손실로 놓치지 않기 위한 생각방식이 중요합니다.

만능으로 간주했을 때의 리스크는 크게 3가지가 있습니다. 모두 도구의 가치를 부정하는 것이 아니라, 강력한 도구이기에 주의가 필요하다는 점입니다.

AI를 사용하면 수십, 수백 개의 전략을 단시간에 시도할 수 있습니다. 하지만 시도하는 수가 늘어날수록, 실제로는 우위성이 없는데도 우연히 좋은 성과처럼 보이는 전략도 늘어나게 됩니다.

이는 개인만의 문제가 아닙니다. 학술 연구 세계에서도 '발표된 많은 팩터는 우연의 산물일 수 있다'고 지적될 정도입니다.

물리학자 리처드 파인만(Richard Feynman)은 과학의 제1원칙으로 "you must not fool yourself" (스스로를 속여서는 안 된다)라고 말하며, 가장 속이기 쉬운 상대는 자기 자신이라고 덧붙였습니다. 백테스트에서 좋은 성과를 앞두고 있을 때는 이 말을 떠올리려고 합니다.

아무리 고도화된 모델이라 하더라도 배우는 것은 과거의 시장입니다.

예를 들어, 학술 논문으로 발표된 주가 예측 기법은 발표 후에 효과가 크게 약해지는 경향이 있다는 것이 알려져 있습니다. 많은 사람에게 알려지면 우위성은 작아집니다. 생각해보면 당연한 일입니다.

또한 2007년 8월에는 유사한 전략을 가진 퀀트 펀드들이 한꺼번에 큰 손실을 입는 사건도 있었습니다.

이는 모델의 결함이라기보다는 시장이라는 대상 그 자체의 성질로 파악하고 있습니다.

LLM은 전략이나 그 결과에 설득력 있는 이유를 제시해 줍니다. 이해를 깊게 하는 데는 도움이 되지만, 설명이 그럴듯한 것과 전략에 실제로 우위성이 있다는 것은 별개의 문제입니다.

더욱이 LLM은 방대한 과거 데이터로 학습했기 때문에, 과거 기간으로 백테스트를 하면 나중에 일어날 사건을 사실상 '알고 있었던' 가능성도 있습니다. LLM이 똑똑한 것이 오히려 검증을 어렵게 만드는 경우가 있는 것입니다.

여기서는 제가 직접 운용하면서 의식하고 있는 마음가짐부터 말씀드리겠습니다. 먼저 전체를 나열하겠습니다.

• 예측은 틀릴 것을 전제로 설계한다
• 과거의 구조가 계속될 것이라고 단정할 수 없다
• 검증을 거친 것을 믿는다
• 만드는 속도가 빨라진 만큼, 검증도 강화한다
• AI의 출력을 가치 있는 가설로 취급한다
• 인간의 역할은 '틀(프레임워크)' 설계에 있다
• 개입 규칙은 평시에 정해둔다
• 생존하는 것을 최우선으로 한다

아무리 고도화된 모델이라도, 시장의 미래는 부분적으로밖에 예측할 수 없습니다. 성과를 좌우하는 것은 예측 정확도뿐만 아니라, 빗나갔을 때 얼마나 손실을 억제할 수 있는가입니다.

정교하게 예측하려고 할수록, 추정 오차에 휘둘릴 때도 있습니다. 실제로 세련된 최적화보다 단순한 균등 배분이 더 안정적이었다는 연구도 있을 정도입니다.

따라서 포지션 사이즈나 드로우다운(자산의 피크부터의 하락 폭) 관리와 같은 자금 관리를, 전략의 부속물이 아니라 본체로 다루고 있습니다.

모델이 찾아낸 우위성은 언젠가 변하는 것으로 취급합니다.

중요한 것은, 쇠퇴를 감지하는 메커니즘과 전략을 재검토하거나 중단할 기준을 도입하는 시점에 미리 정해두는 것입니다. 예를 들어 '실제 성적이 백테스트로 예상했던 범위를 크게 밑돌면 재검토한다'와 같은 기준입니다. 시작하기 전에, 멈출 조건도 정해두는 것이 이상적입니다.

백테스트의 좋은 성적에는 항상 과적합(과거 데이터에 너무 잘 맞추는 것)이 포함되어 있을 가능성이 있습니다.

따라서 다음과 같은 검증을 거친 것만 채택하도록 합니다.

• 아웃 오브 샘플 (Out of Sample): 전략 수립에 사용하지 않은 기간의 데이터로 확인 -
• 워크 포워드 (Walk Forward): 검증하는 기간을 조금씩 이동시키며 반복적으로 확인 -
• 시행 횟수를 고려한 평가: 몇 번 시도했는지를 감안하여 성적을 할인함 (Deflated Sharpe Ratio나 PBO 등)

AI 덕분에 전략의 생성이나 구현은 비교할 수 없을 만큼 빠르고 쉬워졌습니다. 이것이 퀀트×AI가 주는 최대의 이점 중 하나입니다.

하지만, 시도 횟수가 늘어난 만큼 우연의 성공도 늘어납니다. 만드는 속도가 빨라진 만큼, 검증의 엄격함도 높여야 합니다. 그렇게 함으로써 이 이점을 안전하게 누릴 수 있다고 생각합니다.

구체적으로는, 몇 개의 전략을 시도한 결과 그중 하나를 선택했는지, 그 횟수를 기록해 두도록 하고 있습니다.

LLM이나 AI 에이전트는 아이디어 구상이나 정보 수집에 매우 믿음직한 존재입니다. 반면에, 그 판단은 재현성이 낮은 경우도 있어 그대로 최종 판단으로 삼기에는 주의가 필요합니다.

그래서 AI의 출력물은 가치 있는 가설로 적극 활용하고, 최종적인 채택 여부는 통계적 검증으로 결정하도록 합니다. AI의 발상력과 검증의 객관성을 결합하면 양쪽의 장점을 모두 살릴 수 있습니다.

퀀트×AI가 개별 매매를 담당하게 되면서, 인간은 더 상위 레벨의 판단에 집중할 수 있게 되었습니다. 어떤 가설을 시도할지. 위험의 상한선을 어디에 둘지. 언제 모델을 재검토할지. 사람이 맡아야 할 것은 이러한 프레임워크 설계입니다.

의료나 심리 분야에서는 일관된 규칙에 기반한 예측이 전문가의 판단과 동등하거나 그 이상의 정확도를 보이는 경우가 많다고 예전부터 알려져 있습니다. 시장에 그대로 적용된다고는 할 수 없지만, 일관성의 강함을 보여주는 이야기로서 시사하는 바가 큽니다.

모델의 신호를 현장의 감각으로 덮어쓰기 시작하면, 애써 쌓아 올린 일관성이 사라져 버립니다.

'이번만은 특별하니 인간이 판단해야 한다'. 그렇게 느끼는 것은 대부분 손실을 보고 있을 때가 아닐까요. 그러한 상황일수록 냉정한 판단을 내리기는 어려워집니다.

그래서 중단할 조건이나 사이즈를 낮출 조건은, 냉정할 때 언어화하여 규칙으로 정해두도록 합니다. 실제로 개입했을 때는 기록을 남기고, 그 효과를 나중에 되돌아봅니다. 이것 역시 자신을 속이지 않기 위한 메커니즘 중 하나입니다.

한 번의 큰 손실은 지금까지 쌓아온 성과를 쉽게 상쇄시켜 버립니다.

나심 니콜라스 탈레브(Nassim Nicholas Taleb)에게 이런 말이 있습니다.

"Don't cross a river if it is four feet deep on average."

(평균 수심이 4피트[약 1.2m]라고 해서, 강을 건너서는 안 된다)

평균적으로는 안전해도, 중간에 한 곳이라도 깊은 곳이 있으면 익사할 수 있습니다. 기대 수익률이라는 '평균'이 아무리 좋아도, 최악의 경우 퇴장해 버리면 의미가 없습니다.

그렇기 때문에, 기대 수익률의 극대화보다는 시장에 계속 머무르는 것을 우선합니다. 계속하고만 있다면, 퀀트×AI의 진화와 함께 학습과 개선을 거듭할 수 있기 때문입니다.

마지막으로, 8가지 마음가짐을 전략을 운용하기 전에 자신에게 질문하는 형태로 정리해 두겠습니다.

퀀트(Quant)×AI는 개인 트레이더에게 전례 없는 가능성을 열어준 강력한 도구입니다. 앞으로도 이 도구를 활용하여 전략 연구를 계속할 것이며, 그 진화에도 큰 기대를 하고 있습니다.

하지만 아무리 도구가 강력해져도 시장의 불확실성이 사라지는 것은 아닙니다. 모든 모델은 틀릴 수 있지만, 유용한 것도 존재합니다.

퀀트×AI를 만능으로 여기지 않고, 한계를 이해한 상태에서 도구로 활용하는 것. 이것이 이 가능성을 오랫동안 지속적으로 활용할 수 있는 지름길이라고 생각합니다.

이는 한 실무자로서의 견해이기 때문에, 다른 관점이나 더 나은 접근 방식도 있을 것이라 생각합니다. 의견이나 경험을 공유해주시면 감사하겠습니다.

※본 기사는 필자의 개인적인 생각을 정리한 것이며, 소속된 조직의 견해를 나타내는 것은 아닙니다. 또한 특정 투자 행동을 권장하는 내용이 아닙니다. 투자 판단은 본인의 책임 하에 진행해 주십시오.

본문에서 언급된 주제들의 배경으로는 다음 자료들을 참고했습니다:

• Gu, S., Kelly, B., & Xiu, D. (2020). "Empirical Asset Pricing via Machine Learning." The Review of Financial Studies.
• Lopez-Lira, A., & Tang, Y. (2023). "Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models." arXiv:2304.07619.
• Harvey, C. R., Liu, Y., & Zhu, H. (2016). "… and the Cross-Section of Expected Returns." The Review of Financial Studies.
• McLean, R. D., & Pontiff, J. (2016). "Does Academic Research Destroy Stock Return Predictability?" The Journal of Finance.
• Khandani, A. E., & Lo, A. W. (2007). "What Happened to the Quants in August 2007?" Journal of Investment Management.
• Glasserman, P., & Lin, C. (2023). "Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT Sentiment Analysis." arXiv:2309.17322.
• DeMiguel, V., Garlappi, L., & Uppal, R. (2009). "Optimal Versus Naive Diversification: How Inefficient is the 1/N Portfolio Strategy?" The Review of Financial Studies.
• Grove, W. M., et al. (2000). "Clinical Versus Mechanical Prediction: A Meta-Analysis." Psychological Assessment.
• Bailey, D. H., & López de Prado, M. (2014). "The Deflated Sharpe Ratio." Journal of Portfolio Management.
• Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. (2017). "The Probability of Backtest Overfitting." Journal of Computational Finance.
• Box, G. E. P., & Draper, N. R. (1987). Empirical Model-Building and Response Surfaces.
• Feynman, R. P. (1974). "Cargo Cult Science." Caltech Commencement Address.
• Taleb, N. N. (2007). The Black Swan.