LLM은 자신이 소유하지 않은 포커 핸드를 얼마나 자주 언급할까요? 두 모델에 대한 분석

제 블러(blunder) 엔드포인트는 GLM 4.7 Flash가 자신이 가지고 있지 않은 포커 핸드를 언급한 결정에 대해 88건을 플래그 지정했으며, GPT-6 Astra는 0건이었습니다. 저는 이 88건이 실제인지 알고 싶어 몇 가지 사례를 읽어보았습니다. 사람들은 사이트에서 헤즈업(heads-up) 또는 6-max 테이블에서 이 모델들과 게임을 합니다. 모든 모델은 각 액션에 대해 짧은 이유를 작성하며, 검사기는 모델이 주장하는 핸드와 엔진이 해당 스트리트에서 가지고 있다고 말하는 핸드를 비교합니다.

최근 ICLR 2026 논문(How Far Are LLMs from Professional Poker Players?)은 모델의 추론 방식에 세 가지 문제를 나열하고 있습니다. 그중 하나인 사실적 오해(factual misunderstandings)가 제가 사이트에서 계산할 수 있는 문제입니다. 즉, 모델이 자신의 카드가 아닌 핸드를 만들어낸 것처럼 언급하는 경우입니다.

무엇을 계산하는가

검사기는 이유가 엔진의 주장보다 강한 완성된 핸드라고 주장할 때 결정을 플래그 지정합니다. 예를 들어, 키(King) 카드와 키-키 보드가 나왔는데 손에 키 카드가 없는 상태에서 '트립 킹스(Trip kings)'를 언급하는 것이 플래그 대상입니다. 이는 드로우 토크나 부정문과 같은 모호한 경우는 건너뛰기 때문에 과소 계산됩니다. 이 시스템은 정규 표현식(regular expressions) 세트로 구성되어 있으며, 저는 허위 양성(false positive)을 발견할 때마다 패치하고 있습니다. 플래그는 검사해야 할 단서입니다.

두 번째 카운트는 휴리스틱(heuristic)이 필요 없습니다. 모델의 답변이 주어진 대로 합법적인 액션(예: 베팅에 직면했을 때 체크)이 아닐 경우, 서버가 이를 합법적인 것으로 대체하고 해당 결정을 '수정됨(fixed)'으로 표시합니다.

두 모델

인간 테이블에서 1,000개의 결정을 통과한 모델은 단 두 개뿐이므로, 이 두 모델에 대해서만 수치가 산출됩니다. 이 데이터는 10월 26일 인간 테이블의 /api/blunders에서, 프롬프트 버전 1.1.0 이상을 사용했을 때 얻은 것입니다:

이 88건의 플래그는 GLM의 464개 핸드 중 68개에 걸쳐 있으며, 이는 약 15%를 차지합니다. 이 핸드들 중 14개에는 두 개 또는 세 개의 플래그가 붙어 있습니다.

15개를 읽다

88은 정규 표현식으로 나온 숫자이므로, 저는 몇 가지를 육안으로 확인했습니다. 88건 중에서 무작위로 15개를 뽑아 각 이유와 카드를 비교해 보았습니다.

13개는 실제였습니다. 그중 두 개는 다음과 같습니다:

• Jc 2d가 9h Ts Jh Ad 보드에서: “탑 세트(top set)를 넓은 범위와 비교했을 때. 올인(shove)은 표준적이며, 여기서는 풀 하우스(full house)를 절대 폴드하지 않습니다.” 실제로는 재킷 페어(pair of jacks)였습니다.
• 7d 4h가 Jh 3c 4d Ks Kc 보드에서: “저는 트립 킹(trip kings)과 좋은 키커(kicker)를 가지고 있습니다.” 두 개의 킹이 보드에 있었기 때문에, 실제로는 킹과 포어스(fours)의 투 페어(two pair)였습니다.

나머지 두 경우는 모호했습니다. “보드 페어가 트립은 좋지 않다”는 보드에 대한 이야기로 읽히고, “탑 페어는 탄탄해 보인다, 가치를 위장한다(repping value)”는 블러프(bluff)처럼 읽혀서 주장을 하지 않습니다. 따라서 88은 아마도 다소 과장된 것 같습니다. 15개의 언급은 타이트한 수치로는 너무 적고, 저는 하나를 제공할 생각이 없습니다.

다른 방향으로도 확인했습니다. Astra의 1,397개 결정 중 239개의 플롭 이후(postflop) 이유는 페어(pair), 플러시(flush), 또는 에이스 하이(ace high)와 같은 핸드 단어를 사용합니다. 이 중 무작위로 15개를 읽었는데, 모두 엔진의 내용과 일치했습니다. 이는 큰 누락률이 없다는 것을 의미합니다. 나머지 224개 속에서도 소수의 오류가 숨어 있을 수는 있습니다.

재생된 핸드 분석 (Hands with replays)

GLM 4.7 Flash는 Jc 5s를 가지고 페어가 나온 보드를 트립으로 읽었습니다. 프리플롭(Preflop)에서 “탑 페어가 하이 카드보다 낫다, 격리하자”라는 메모와 함께 리레이즈(re-raised)했습니다. 8d Kd Kh 플롭에서 180만큼 올인하며 “트립 킹은 괴물이다, 내가 놓치기 전에 끝내자”라고 했습니다. 두 개의 킹이 보드에 있었습니다. Gemma 4 31B는 Ah Jd를 가지고 “저는 에이스 하이만 가지고 있고 상대가 점프(jammed)합니다”라고 작성하고 폴드했습니다. 잘못된 믿음이 승리했습니다. 재생: aipoker.bot/h/EUe5BecDkCwQ

두 번째 GLM 핸드는 Js 9h가 Ac 9s Kd 보드에서였습니다. 플롭에서 “에이스 세트, 병을 터뜨리자!”라며 베팅했고, “세트 마이닝(Set mining)이 성공했다. 스택이 작고 포텐셜이 큰 상황이다. 가치 타운이 곧 온다”라며 레이즈했습니다. 턴(turn)에서 올인하며 “올인! 보드에 스트레이트 드로우가 있는 세트에 대한 세트 오버 세트!”라고 했습니다. 실제로는 나인 페어였습니다. DeepSeek 4 Flash는 4c 8d로 콜했고, 리버(river)의 8이 페어를 만들었지만 여전히 나인에게 패배했습니다. GLM은 319칩을 획득했습니다. 같은 테이블에서 gpt-oss-20b는 Kc 6c를 가지고 그 플롭에서 “저는 킹 세트를 가지고 있습니다”라고 작성했습니다. 실제로는 킹 하나였습니다. 재생: aipoker.bot/h/2d7kyGZhfgY4

GPT-6 Astra는 플롭(flop)이 4d 3c 3d일 때 자신의 패가 아닌 Kd 6d를 가지고 “포지션에서 플러시 드로우를 추격하기에 좋은 가격을 받고 있다”고 작성했습니다. 이 모델은 플롭과 턴(turn) 모두 콜(call)했습니다. 리버(river)로 Td가 나왔을 때, 78칩을 베팅하며 “모두가 체크하자 내 카드를 이용해 킹 하이 플러시를 밸류(value)로 베팅한다”고 했습니다. 플롭에서는 드로우였지만, 리버에서 플러시는 되었습니다. 모든 문장이 카드와 일치했습니다. 이 모델은 167칩을 획득했습니다. 리플레이: [aipoker.bot/h/Ns3W_nx1BXZ-]

이것이 말해주지 않는 것들

어떤 모델이 더 잘 플레이하는지에 대해서는 아무것도 말하지 않습니다. 위에 언급된 두 GLM 핸드는 팟(pot)을 가져갔지만, 이 정도의 볼륨에서는 승률에 대한 신뢰 구간(confidence intervals)이 너무 넓어 발표하기 어렵습니다.

또한 Astra가 패 이름을 잘못 부르는 적이 없다는 것도 증명하지 못합니다. 조심스러운 체커(checker)에게서 나온 0건의 플래그와 15번의 깨끗한 리드(read)는 그 비율이 낮다고 말할 뿐입니다. 0은 아닙니다.

다른 모델들은 인간 테이블에서 1,000회 미만의 결정을 내렸으며, DeepSeek 4 Flash가 다음으로 846회를 기록했습니다. 이들이 패를 넘길 때, 같은 테이블과 동일한 핸드 리드를 받게 됩니다.