「1着率60%」라고 제시된 배는 실제로는 59.8%를 차지했다 — 경도 AI의 확률을 2.6만 경주에서 검증하다

경도(ボートレース)의 모든 경주에 대해, 각 배(艇)의 1착률・2착률・3착률과 3연단(三連単) 120가지 조합의 확률을 무료로 제공하는 사이트 '이치마크(イチマーク)'를 개인적으로 만들고 있습니다.

AI 예측을 표방하는 사이트는 셀 수 없이 많지만, '그 확률이 얼마나 정확한지'를 숫자로 보여주는 곳은 거의 없습니다. 이 글에서는 이치마크가 제시하는 확률을, 모델 학습에 사용하지 않은 2025년 하반기 전체 26,560경주의 실제 결과와 대조하여 그 결과를 그대로 담았습니다.

먼저 결론부터 말씀드리자면,

• '60%'라고 제시된 배는 실제로 59.8%를 차지했습니다. 1착률은 어느 구간에서도 표시값과 실제 값의 차이가 1포인트 이내였습니다. - 3연단 조합의 확률 역시, '10%'인 조합은 9.2%였고, '14.5%'인 조합은 14.7%로 나타났습니다.
• 다만 '확률이 맞는다'는 것과 '시장에서 우수하다'는 것은 별개이며, 시장(확정 배당률) 역시 비슷한 정확도를 보였습니다.
  이 확률만으로 돈을 벌 수는 없습니다. 그 이야기는 다음 글에 쓰겠습니다.

무엇을 제시하는가

모델의 내용은 평범합니다. 공식 과거 성적에서 선수・코스・장소・모터의 성적, 이번 경주의 컨디션, 당일 전시(전시 시간, 스타트 전시 시 진입 및 ST) 등을 특징량으로 사용하여, 기울기 부스팅(Gradient Boosting, LightGBM)으로 각 배의 1착률을 산출하고, 2착・3착은 조건부 확률로 별도의 모델에서 산출하여, 3연단 120가지 조합의 확률을 만들고 있습니다. 학습은 2024년까지 진행되었습니다.

사이트에서는 경주마다 다음과 같은 정보를 제공합니다.

• 각 배의 1착률・2착률・3착률・3착 이내율
• 배를 누르면 '이 배가 1착이라면 2착은', 더 누르면 '1착 ○・2착 △라면 3착은' 등의 정보
• 3연단 120가지 조합의 확률과 적정 배당률 (0.75 ÷ 확률. 공제율 25% 시장이 그 확률대로 판매되었을 때의 배당률)

시장은(배당률) 섞지 않았습니다. 순수하게 모델이 산출한 확률입니다.

어떻게 측정했는가

'확률이 정확하다'는 것을 측정하는, 솔직한 방법을 사용했습니다.

• 2025년 7월 1일~12월 31일까지의 모든 경주(26,560경주, 환급된 경주는 제외)에서 사이트와 동일한 절차로 확률을 산출합니다. 이 기간은 모델 학습에 사용되지 않은 기간입니다.
• 제시된 확률을 구간(05%, 510%, …)으로 나눕니다.
• 구간별로 '제시된 확률의 평균'과 '실제로 그렇게 된 비율'을 나란히 비교합니다.

두 값이 가깝다면, 그 확률은 액면 그대로 신뢰할 수 있습니다. '40%'라고 제시된 배가 실제로 40% 승리한다면, 그것은 40%입니다. 이러한 성질을 calibration(보정)이라고 부릅니다.

반대로, '40%'라고 제시되었는데 실제로는 30%밖에 승리하지 못한다면, 그 모델은 과장된 것이라 확률로 사용할 수 없습니다. 많은 AI 예측이 '◎○▲'의 표시나 '적중률 ○%'만 보여주는 것은, 이곳을 측정하면 자신들에게 불리하기 때문이 아닐까라고 개인적으로 생각합니다.

결과

1착률

3착 이내율 (1착률 + 2착률 + 3착률)

3연단 조합의 확률

1착을 결정했을 때의 2착 확률

사이트에서 배를 누르면 나오는 '이 배가 1착이라면 2착은' 정보입니다. 실제로 1착이 된 배를 조건으로 비교했습니다.

1착과 2착을 결정했을 때의 3착 확률

의미하는 것: 사이트에 표시된 확률은 액면 그대로 읽으셔도 되는 숫자입니다. '1착률 52%'는 52%이고, '이 조합은 3.9%'는 3.9%입니다. 적절한 배당(0.75÷확률) 역시 비슷한 수준으로 신뢰할 수 있습니다.

의미하지 않는 것:

• 시장보다 우월하다고 말할 수는 없다. 확정된 배당에서 역산한 시장의 확률도 그만큼 정확합니다. 로그 손실(확률의 좋고 나쁨을 측정하는 지표, 낮을수록 좋음)로 비교했을 때, 2025년 하반기는 모델 단독이 시장보다 약간 앞섰고, 최근 2주간은 시장 쪽이 더 우수했습니다. 그 차이는 작으며, '시장과 거의 같은 정확도의 독립적인 또 하나의 의견'이라는 것이 솔직한 위치입니다. -
  이 확률로 사면 돈을 벌 수 있다고는 말할 수 없다. 모델과 시장을 혼합하면 시장보다 약간 더 정확해지지만, 이를 매수 기준으로 삼으면 선택한 조합의 배당이 마감 시간까지 20%가량 하락하여 회수율은 85~100% 범위에 머무릅니다. 이 '시장보다 정확하지만 승리할 수 없는' 구조는 측정하면 명확하게 보입니다. 다음 기사에서 숫자를 공개하겠습니다. -
  개별 경주에서는 운의 폭이 크다. '10%' 조합은 10번 중 9번 적중하지 못합니다. 표의 숫자는 수만 개의 조합을 모은 평균일 뿐, 1경주의 보장은 아닙니다.

표를 읽으면서 주의할 점

• 평가 기간은 모델 학습에 사용하지 않은 기간(2025년 하반기)으로 한정했습니다. 학습에 사용한 기간으로 측정하면 적중률이 너무 좋게 보입니다.

• 환불(프리런, 결장)이 있었던 경주는 제외했습니다.

• 구간을 나누는 방식에 따라 보이는 것이 달라지므로, 건수도 함께 기재했습니다. 건수가 적은 구간(조합의 20% 이상 등)은 변동 폭이 크다고 읽어주세요.

• 이 검증치와 사이트 공개 후 실적은 혼합하지 않았습니다. 공개 후 매수 조합의 성적은 오차를 포함하여 성적 페이지에 그대로 남겨 있습니다.

사이트에서의 활용법

확률 적중률 페이지에 이 5가지 표를 배치했습니다. 경주 페이지에서는 예상 1착률 옆에 시장 1착률(3연단 배당에서 역산)과 그 차이를 나란히 표시하고, 결과가 나오면 '적중한 조합이 예상 몇 위였는지'를 매 경주마다 기록합니다. 적중도 실패도 같은 형태로 남기 때문에, 표의 숫자가 진짜인지 아닌지는 사용하면서 확인할 수 있습니다.

맺음말

'AI의 예측이 맞을까?'라는 질문은 사실 두 가지로 나뉩니다. '확률이 정확한가'와 '시장에 이길 수 있는가'입니다. 전자는 본 기사처럼 측정할 수 있었고, 일치했습니다. 후자는 확률이 정확하더라도 또 다른 벽이 있으며, 그쪽이 훨씬 더 어렵습니다. 다음 기사에서는 그 부분을 숫자로 쓰겠습니다.

Discussion