주목받는 판단 특화 AI 'Jev'에 미국 주식 매매를 시켰지만, 어떤 방법으로도 이길 수 없었다는 이야기

서론

2026년 9월 공개되어 화제가 된 TypeSafe AI의 판단 특화 모델 'Jev'. 문장 생성 없이 선택지 중 하나를 고르거나・점수를 매기거나・Yes/No 확률을 반환하는 것에만 특화되어 있어, 0.1~0.5초 만에 답변이 돌아옵니다. 수수료는 입력 100만 토큰당 0.042달러(작성 시점)로 매우 저렴합니다.

'빠르고 저렴한 판단 AI라면 주식 자동 매매에 적합하지 않을까?'라고 생각하여, Alpaca의 페이퍼 트레이드(가상 자금)로 시험해 보았습니다. 구현과 검증은 Claude Code와 함께 진행하고 있습니다.

결론부터 말씀드리자면, 시도한 4가지 방법 중 어느 것에서도 매매 비용을 상회하는 우위는 확인할 수 없었습니다. 가상 자금 10만 달러로 2일간 매매시킨 결과는 **−626달러(−0.63%)**입니다. 이 글에서는 무엇을 어떻게 시도했고, 어떻게 평가하여 '이길 수 없다'고 판단했는지 정리합니다.

Jev란?

Jev로는 3가지 종류의 질문을 할 수 있습니다.

from typesafe_sdk import Choice, Noul, TypeSafeClient
client = TypeSafeClient() # 환경 변수 TYPESAFE_API_KEY를 읽음
response = client.system_one(
...

제작한 것

• 원금: Alpaca의 페이퍼 계정 초기 자금 10만 달러(가상 자금) -
  대상: S&P500 전체 종목 + Nasdaq-100 주요 종목 + ETF, 총 535개 종목 -
  빈도: 거래 시간 중 5분마다. 1 사이클은 약 50초(주가 데이터 취득이 약 45초, Jev의 판단이 약 7초) -
  Jev 입력: 5분봉 지표, 일봉 지표, 캔들 패턴(TA-Lib의 61종류를 계산하여 이름으로 전달), SPY・QQQ 상황, 보유 현황 -
  매매: 매수만. 종목당 5,000달러・최대 10개 종목. 손절・익절은 ATR(변동폭)의 2배・3배로 브라켓 주문. 보유 60분 후 정리하고, 장 마감 15분 전에 전량 청산 -
  로그: 전체 종목・전 사이클의 입력과 Jev의 답변을 gzip JSONL로 저장(1 사이클 약 86KB)

Jev는 계산에 취약하다고 여겨지므로, 지표나 패턴 판정은 모두 Python 측에서 처리하고, 계산된 값과 이름만 전달했습니다.

결과 1: 2일간의 페이퍼 트레이드

원금 10만 달러(가상 자금)에서의 결과입니다.

| 1일차 (중반부터 약 2.5시간) | 2일차 (약 3시간 후 중단) | |
|---|---|
| 손익 | −186달러(−0.19%) | −440달러(−0.44%) |
| ... |

2일차(미국 시간 9/29) 계좌. 한국 시간 22:30 거래 시작부터 하락하여, −439.78달러(−0.44%)로 매매를 중단했습니다.

2일간의 합계는 −626달러(−0.63%)입니다. 이틀 모두 시장 전체가 하락하던 시간대였습니다. 다만, 투입한 금액은 최대 원금의 절반(10개 종목×5,000달러)에 불과합니다. 투입 금액 대비 손실 비율로 보면 SPY의 하락을 상회하고 있어, 하락장만으로는 설명할 수 없는 패배였습니다.

Jev의 예측과 실제 움직임 비교

Jev의 '30분 후 상승 확률'과 실제 30분 후의 움직임을 대조했습니다. 평가에는 AUC를 사용했습니다. 예측이 높은 순서대로 나열했을 때, 실제로 상승한 것이 위에 오르는지를 나타내는 지표로, 0.5라면 찍는 것과 같습니다.

| 1일차 | 2일차 | |
|---|---|
| '30분 후 상승' 확률의 AUC | 0.478 | 0.445 |
| ... |

결과 2: 프롬프트로 개선할 수 있을까

로그에 모든 입력을 저장했기 때문에, 과거의 입력을 다른 프롬프트로 Jev에게 다시 답변하게 하여 비교할 수 있습니다. 1일차 로그에서 2,000건을 뽑아 시도했습니다 (비용은 1회 약 0.2달러).

1일차 데이터로 만든 프롬프트를 2일차라는 다른 날짜에서 확인하는 것이 중요했습니다. '역추세(逆張り)' 관점은 다른 날에도 통했지만, '모멘텀(勢い)' 관점은 통하지 않았습니다.

다만, 개선된 Jev (안 D)는 Jev를 사용하지 않는 1줄의 규칙과 거의 같은 성적입니다. Jev는 가르쳐준 관점에 따라 판단하게 되었을 뿐, 추가적인 성능 향상은 보이지 않았습니다.

매매로 시뮬레이션할 경우

'매 사이클마다 점수가 높은 상위 5개 종목을 사서 30분 후에 파는 것'을 2일치 데이터로 추산했습니다 (편도 0.03%의 비용 포함).

개선된 Jev로도 무작위 선택한 경우를 뛰어넘지 못했습니다 (차이는 오차 범위에 가까울 정도입니다). 당첨/실패의 순위 매기기(AUC)가 좋아져도, 상위에 오는 것은 직전에 크게 움직인 변동성이 큰 종목이었고, 실패했을 때 손실이 컸기 때문에 그렇습니다. 애초에 30분간의 움직임에서 읽어낼 수 있는 차이가 왕복 0.06%의 비용보다 작다는 것이 근본적인 문제였습니다.

결과 3: 뉴스를 읽히기

Jev가 본래 잘하는 분야는 문서를 읽고 분류하는 것입니다. 그래서 Alpaca가 무료로 배포하는 Benzinga의 뉴스를 사용해, 2026년 7월~9월의 약 2.1만 건을 Jev에게 읽혔습니다 (비용 0.5달러).

질문은 세 가지입니다.

• 주가를 움직일 수 있는 회사 고유 뉴스인지 (5년 전 샀다면 지금 얼마일지 같은 자동 생성 기사 제외)
• 향후 며칠간의 주가에 미치는 영향(매우 나쁨~매우 좋음의 5단계)
• 시장 예상 대비 얼마나 큰 이야기인지(소・중・대)

'내용이 있다'고 판단된 약 1.3만 건에 대해, 뉴스 공개 후 첫 장 시작가로 매수하고, 1・3・5일 후 종가로 매도했을 경우의 SPY와의 차이를 측정했습니다.

'매우 좋음'만은 좋은 성적으로 보이지만, 월별로 나누어 보면 인상이 바뀝니다.

플러스였던 것은 실적 시즌의 8월뿐이었습니다. 또한, Jev 공개 이전 뉴스는 Jev가 학습 단계에서 결말까지 알고 있을 가능성이 있습니다. 그 영향에서 벗어난 9/15 이후에는 마이너스였습니다.

결과 4: 뉴스에 1~5분으로 반응하기

Jev의 강점은 속도이므로, '다음 날 시초가'에서는 너무 늦을 수 있습니다. 거래 시간 중에 나온 약 5,700건의 뉴스에 대해, 공개된 후 1분 및 5분 후의 1분봉으로 매수했을 경우를 검증했습니다. Jev의 답변은 저장된 것을 사용했기 때문에 추가 비용은 들지 않았습니다.

어떤 보유 시간에서도 우연과 구별할 수 없었습니다. 9/15 이후의 '매우 좋은' 뉴스는 매수 전(공개 후 1분 이내)에 이미 +0.53% 움직여 있었고, 그 후에는 하락하고 있었습니다. 큰 뉴스는 1분도 안 되어 주가에 반영되어 있습니다.

배운 점

1. 'Jev가 올바르게 읽는 것'과 '수익을 내는 것'은 별개의 문제

눈으로 확인한 범위에서는 Jev가 뉴스의 좋고 나쁨을 적절하게 분류하고 있었습니다. 하지만 주가는 그 정보를 이미 반영하여 움직이고 있었기 때문에, 정확히 분류해도 이익으로 이어지지 않았습니다.

2. 반드시 Jev 없는 단순 규칙이나 무작위와 비교할 것

프롬프트를 변경해서 AUC가 0.48에서 0.57로 올라갔을 때는 잘 된 것처럼 보였습니다. 하지만 같은 관찰을 한 줄로 적은 규칙이나 무작위 선택과 비교했을 때, 추가적인 이점이 없다는 것을 알았습니다.

3. 만든 날과 다른 날에 검증할 것

1일차 데이터로 만든 프롬프트는 1일차에서 잘 보이는 것이 당연합니다. 다른 날짜로 확인해 보니, '역추세(逆張り)'는 남아있었지만, '모멘텀(勢い)'은 무너졌습니다.

4. 적중률과 손익은 별개

AUC가 0.55라도, 상위 종목이 크게 움직이면 평균적인 손익에서는 마이너스가 됩니다. 30분 정도의 가격 변동에서는 노릴 수 있는 차이가 비용보다 작아지기 쉽습니다.

5. 평가할 로그를 처음부터 남길 것

모든 입력과 답변을 저장해 두었기 때문에, 프롬프트 비교나 매매 시뮬레이션을 기다리지 않고 과거 데이터로 돌릴 수 있었습니다.

다른 주의점

• 검증에는 Alpaca의 무료 데이터(실시간은 IEX 피드)를 사용했습니다. IEX는 미국 전체 거래량의 몇 %만 포함하므로, 거래량 관련 지표는 참고치입니다.
• 작성 시점의 미국 패턴 데이트레이더 규제에서는 계좌 잔고가 25,000달러 미만일 경우, 일일 매매 거래는 영업일 기준 5일에 3회까지로 제한됩니다. 소액으로 이러한 종류의 봇을 실운용하는 것은 어렵습니다.
• 뉴스 검증은 3개월 분이지만, 운용은 2일분만 했고, 두 날 모두 하락장이었습니다.

비용

535개 종목을 5분마다 판단해도, 하루당 약 2달러였습니다. Jev의 저렴함은 진짜입니다.

요약

• 판단 특화 AI인 Jev에게 미국 주식을 4가지 방법으로 판단하게 함
• 가상 자금 100,000달러로 2일간의 페이퍼 트레이딩 결과는 -626달러(-0.63%)
• 5분봉 지표 예측은 반대 신호가 되고 있었습니다(AUC 0.44~0.48)
• 프롬프트 개선으로 AUC는 0.57까지 올랐지만, 단순 규칙과 비슷했고, 비용 이후에는 무작위보다 높지 못했습니다.
• 뉴스 독해는 적절했지만, 시초가 또는 1분 후 시점에서는 이미 주가에 반영되어 있었습니다.

이번 조건 및 기간에서는 Jev의 빠르고 저렴함은 매력적이었지만, '빠르고 정확하게 판단하는 것'과 '시장에서 이기는 것' 사이에는 큰 거리가 있었습니다.

토론(Discussion)