스포츠 경기에 대한 정확한 답변을 AI가 내놓게 하려면 필요한 것

오늘 밤 경기에 대해 일반 챗봇에게 물어본 사람이라면 실패 모드를 알고 있을 것입니다: 세 시즌 전의 로스터를 자신감 있게 인용하고, 부상 보고서를 지어내며, 실시간 가격은 한 번도 본 적이 없는 것처럼 말입니다. 언어 모델(Language models)은 스포츠에 대한 추론에는 능합니다. 하지만 10분 전에 무슨 일이 일어났는지 아는 것은 형편없습니다. 해결책은 더 나은 프롬프트가 아닙니다. 그것은 아키텍처 문제입니다.

제가 매치업을 조사하고 신뢰도 점수와 함께 답변하는 iOS 및 Android 앱인 Betaware AI를 구축하면서 배운 내용입니다. (저는 Betaware AI를 만들었습니다. 이것은 판매 홍보가 아니라, 어떻게 구축되었는지에 대한 글입니다.)

세 가지 작업을 분리하라

가장 유용했던 결정은 파이프라인을 역할을 절대 바꾸지 않는 세 단계로 나눈 것입니다.

1. 검색(Retrieval). 모델이 추론하기 전에 실시간 사실들을 가져옵니다: 부상 보고서, 라인업 뉴스, 최근 경기력, 상대 전적, 그리고 현재 시장 가격입니다. 모델이 오늘 무엇이 진실인지 알 것이라고 신뢰해서는 안 됩니다.
2. 모델링(Modelling). 분위기(vibes)가 아닌 실제 통계 모델을 검색된 데이터에 적용합니다. 팀 수준의 특징, 경기력 곡선, 홈/원정 스플릿 등이 있습니다. 모델은 단락이 아니라 확률을 출력해야 합니다.
3. 서술(Narration). 이제야 언어 모델에게 1단계와 2단계가 반환한 내용에 엄격하게 근거하여 결과를 평범한 영어로 설명하도록 허용합니다.

만약 모든 세 가지 작업에서 언어 모델이 자유롭게 연관 지어 생각하게 한다면, 유창하지만 말도 안 되는 소리를 얻게 됩니다. 경계를 유지하면, 사용자가 실제로 감사(audit)할 수 있는 무언가를 얻게 됩니다.

시장 부분을 입력에 포함시켜라

모델의 진공 상태에서의 확률은 사소한 정보입니다. 흥미로운 질문은 항상 '시장은 무엇을 생각하는가, 그리고 격차는 어디에 있는가?'입니다. 따라서 실시간 배당률(live line)은 각주가 아니라 일급 입력값입니다. 여러 장소에서 승무패배 당첨금(moneyline), 스프레드(spread), 총점(totals)을 가져와(저희는 DraftKings와 Kalshi 거래소, 그리고 일부 유럽 축구 리그의 bet365를 읽습니다), 수수료(vig)를 제거하여 합의된 확률을 얻고, 이를 모델의 숫자와 비교하면 '누가 이길까?'라는 질문이 '내 추정치가 가격과 무엇을 의미하는가?'로 바뀝니다. 또한 이는 경기가 끝나는 순간 반증 가능하게 만듭니다.

불확실성을 전달하고 숨기지 마십시오

모든 예측에는 신뢰도 점수(confidence score)가 수반되며, 이것이 사용자들이 그것을 신뢰하기 전에 가장 많이 거부하는 부분입니다. 해결책은 자신을 공개적으로 평가하는 것입니다. 앱의 과거 예측들은 최종 결과와 비교됩니다. 따라서 신뢰도 숫자는 장식품이라기보다는 시스템에 책임을 물을 수 있는 무언가여야 합니다. 만약 예측 관련 도구를 만들면서 성공 사례만 보여준다면, 그것은 연구 도구가 아니라 마케팅 도구를 만든 것입니다.

가드레일(Guardrails)은 법적 필수 문구가 아닌 기능입니다

주제가 돈이기 때문에, 저희는 초기에 강력한 제약 조건을 설정했습니다. 만 18세 이상만 허용, 정보 및 오락 목적으로만 사용, 제품 내에서 베팅을 하거나 받는 행위 없음, 그리고 실제 지침(예산, 시간 제한, 손실 추격 금지)이 담긴 책임감 있는 도박 페이지를 마련하는 것입니다. 예측은 분석이며 틀릴 수 있습니다. 이를 명확하게 말한 것이 오히려 신뢰를 구축하는 결과를 가져왔습니다.

다른 개발자에게 해주고 싶은 조언

• LLM(대규모 언어 모델)이 스스로 사실을 검색하도록 절대 두지 마십시오. 사실을 제공하십시오.
• 모델링을 먼저 하고, 서술은 나중에 하십시오. 단락은 출처가 아니라 숫자를 렌더링한 것이어야 합니다.
• 시장이나 기준점과 비교하지 않으면 아무것도 평가할 수 없습니다.
• 신뢰도를 보여주고, 그것을 공개적으로 평가하십시오. 보정(Calibration)이 전체 제품입니다.
• 답변은 짧게 유지하십시오. 깊이 연구하고, 한 화면에 답변하십시오.

Betaware AI는 이 파이프라인의 출력 측면을 살펴보고 싶다면 App Store와 Google Play에서 이용 가능합니다: [https://betaware.app]