AI가 현실의 상대방을 과도하게 유능한 존재로 설정하여 게임 난이도를 높인 경험담

우연히 받은 여분의 쿠폰이 있어서 Claude Fable을 사용해 보았습니다.

마침 진행 중이던 기업 간 트러블에 대해,

"제가 놓치고 있는 리스크를 철저하게 분석해 주었으면 합니다"

라고 요청했습니다.

이것이 묘하게 재미있는 사고로 이어졌습니다.

결론부터 말씀드리자면,

AI가 현실의 상대방을 스스로 유능한 존재로 설정하여, 게임 난이도를 '하드'로 변경해 버린 이야기입니다.

인류 멸망이나 AI 반란 같은 거창한 이야기가 아닙니다.

오히려 좀 더 사소하고, 실무에서는 이런 유형의 AI 리스크에 더 자주 직면할 것 같습니다.

구체적인 회사명이나 프로젝트 내용은 밝히지 않겠습니다만, 문제에는 다음과 같은 여러 논점들이 있었습니다.

• 계약
• 금전
• 회사 운영
• 상대방과의 협상

이에 AI에게 다음 사항들을 상당히 폭넓게 검토하도록 했습니다.

• 상대측이 취할 수 있는 행동
• 우리의 약점
• 최악의 경우 발생할 수 있는 일
• 그에 따른 손실
• 대응책

돌아온 답변은 훌륭했습니다.

제도상 가능한 수단들이 나열되었고,
"상대방이 합리적이라면 이렇게 움직일 것이다"
라는 시나리오가 구성되어 있었으며,
우리에게 미칠 영향까지 정리되어 있었습니다.

심지어 발생 확률 같은 숫자까지 붙어 있었습니다.

읽다 보니,

'아, 저 정도까지 고려해야 하는 건가?'
싶은 생각이 들었습니다.

게다가 곤란하게도, 개별 논점들이 그다지 틀리지 않았습니다.
오히려 설득력이 있었습니다.

그래서 조금 경계했습니다.

그런데 이후에 현실의 상대방을 관찰하자 위화감이 느껴졌습니다.

AI가 상정한 상대는 다음과 같았습니다.

• 자신들이 처한 상황을 정확히 이해하고
• 이용 가능한 제도를 파악하며
• 자신에게 유리한 선택지를 비교하고
• 필요하다면 전문가를 활용하며
• 조직 내 의사결정을 정리하고
• 절차를 준비하며
• 도중에 멈추지 않고 끝까지 실행하는

인물 또는 조직이었습니다.

반면, 현실에서 관측되는 정보는 훨씬 사소했습니다.

• 설명이 체계적이지 않다
• 지난번과 이야기가 미묘하게 바뀐다
• 기한을 넘겨도 움직이지 않는다
• 대응이 도중에 멈춘다
• 전략적이라기보다, 그 순간순간 처리하는 것처럼 보인다

그제야 깨달았습니다.

AI 속의 상대방이 현실보다 훨씬 유능하지 않나?

여기서가 이번 포인트를 잡았습니다.

이것은 전형적인 환각(Hallucination)과는 조금 다릅니다.

AI가,

• 존재하지 않는 법을 만들었거나
• 가상의 제도를 조작했거나
• 사실관계를 완전히 오해한

그런 이야기가 아닙니다.

AI가 제시한 수단은

'이론상으로는 가능'
했습니다.

하지만,

가능하다는 것
과

그 상대방이 실제로 행동하는 것
사이에는 거대한 간극이 있습니다.

예를 들어 제도상 이용 가능한 수단이라 하더라도, 실행까지는 다음과 같은 과정이 필요합니다.

선택지의 존재에 알아차림
↓
자신에게 유리하다고 판단함
...

AI는 첫 단계인,

제도상 가능함

부터

상대방이 실제로 행동함

까지를 상당히 매끄럽게 연결해 버린 것입니다.

생성 AI에게 상대측이라면 어떻게 움직일지 묻자, 매우 합리적인 플레이어를 만들어냅니다. 체스라면 괜찮습니다. 상대도 최선의 수를 찾고 있으니까요.

하지만 실세계의 인간이나 조직은 다음과 같은 경우가 보통 있습니다.

• 최선의 수를 모른다
• 알아도 귀찮아서 하지 않는다
• 사내 조율이 안 된다
• 책임을 지기 싫다
• 다른 일로 바쁘다
• 감정으로 방침이 바뀐다
• 단순히 잊어버린다

즉, AI가 생성한 것은

현실의 상대방

이 아니라,

주어진 조건 하에서 합리적으로 행동하는 가상 플레이어였습니다.

여기서 혼동하면, 우리가 요청하지 않았는데도 게임 난이도가 올라갑니다. 이게 가장 재미있었습니다.

성능이 낮은 AI는 답변이 부실해서 우리도 의심합니다.
하지만 고성능 AI는,

• 전제
• 제도
• 인과관계
• 리스크
• 대응책

을 깔끔하게 연결해 옵니다. 즉,

전제가 약간 틀어진 채로, 고품질의 분석만 완성되는

경우가 있습니다.

이것은 사소한 오류보다 더 위험합니다. 논리가 파탄 나지 않았기 때문에 독자 측에서 '이렇게 정돈된 분석이라면 현실에도 적용될 것이다'라고 생각하기 쉽습니다.

하지만,

논리적 일관성 ≠ 현실 적합성

AI를 사용하다 보면 또 한 가지 착각하기 쉬운 것이 있습니다. 법률, 계약, 조직론, 재무, 복잡한 시나리오 분석 같은 것들은 어렵습니다.

반면,

• 답장이 오지 않는다
• 기한을 지키지 않는다
• 설명이 매번 바뀐다
• 지난번과 아무것도 진전된 것이 없다

같은 정보는 쉽습니다. 그런데,

지적으로 어려운 정보일수록, 의사결정 가치가 높지는 않다.

다음 상대가 무엇을 할지 생각하려면,

고도한 제도론을 10가지 조사하는 것보다,

그 상대가 지난 3개월 동안 실제로 무엇을 했는지
를 보는 것이 더 효과적일 때가 있다.

나 자신에게는 이번에,

지적 난이도 ≠ 의사결정 가치

라는 점이 상당히 중요한 발견이었다.

AI의 리스크 분석에서는,

발생 확률 30%와 같은 숫자가 나올 때가 있다.

숫자로 되면 갑자기 분석처럼 보이게 된다.

하지만,

• 유사 사례를 몇 건 관측했는지
• 모집단은 무엇인지
• 기준률이 있는지
• 모델은 교정되었는지

등이 존재하지 않는 30%라면,

그것은 실측값과는 의미가 다르다.

경우에 따라서는,

문장이었던 추측을 숫자로 바꾼 것일 뿐

이다.

문장이라면,

가능성은 있지만, 어느 정도 발생할지는 불명확하다고 읽을 수 있다.

하지만 30%라고 쓰여 있으면, 어쩐지 측정 결과처럼 보인다.

즉,

수치화함으로써 불확실성이 줄어드는 것이 아니라, 불확실성이 보이지 않게 되는

경우가 있다.

그런 이야기가 아니다.
이번에도,

그런 수단이 존재하는지
를 아는 것 자체에 가치가 있었다.

AI는,

• 놓친 가능성을 탐색하는 것
• 반대편 입장에서 생각하는 것
• 반론을 만드는 것
• 최악의 경우를 도출해내는 것

같은 일에는 매우 강하다.

문제는,

가능성의 발견과, 가능성의 우선순위 지정을 동시에 시키는 것

같다고 생각한다.

중요한 판단에서는, AI에게 질문을 조금 분해하도록 했다.
여기서는 폭넓게 받도록 했다.

이 조건 하에서 상대가 취할 수 있는 행동을,
실현 가능성을 따지지 않고 나열해 주세요.

각 행동을 실행하는 데 필요한
지식, 권한, 자금, 전문가, 사내 조정, 시간,
지속적인 실행 능력을 분해해 주세요.

이것만 넣어도,

'제도상 가능한 것'

과

'이 상대가 할 수 있는 것'

을 조금 분리할 수 있다.

다음 내용을,
・확인된 사실
・추론
...

근거가 없다면,

높음 / 중간 / 낮음
요시 감시
현시점에서는 우선순위 낮음

같은 순서 척도로도 충분할 때가 있다.

이것은 특히 중요했다.

A. 합리적인 상대가 취할 최선의 전략
B. 현재의 관측 사실을 바탕으로, 이 상대가 실제로 취할 것 같은 행동
을 나누어 평가해 주세요.

이것만으로도 상당히 달라진다.

최근에는 AI를,

비정상적으로 유능하지만, 현장을 직접 보지 못한 부하 직원

쯤으로 생각하는 것이 적절하다.

방대한 자료를 읽고.
논점을 정리하고.
코드를 작성하고.
반론을 생각하며.
내가 알아차리지 못한 허점을 찾아낸다.

여기까지는 상당히 강하다.

한편,

• 상대의 습관
• 조직 문화
• 누가 실제로 의사결정을 하는지
• 번거로운 처리를 끝까지 해낼 수 있는지
• 표면적인 제도와 실제 운용의 차이

등은, 현장 측에서 관측할 필요가 있다.

AI가 고성능이 될수록 맡길 수 있는 일은 늘어난다.
동시에,

어디까지 AI에게 맡기고, 어디부터 인간이 판단할지

라는 경계 설계도 중요해진다.

나는 건설 DX 주변의 업무도 다루는데, 여기에서도 비슷한 문제가 있다.

이론만으로는,

API 연동하면 된다.
마스터를 통일하면 된다.
현장에서 한 번 입력하면 이중 입력은 사라진다.
SaaS에 업무를 맞추면 된다.
같은 답을 만들 수 있다.

하지만 현실에는,

• 발주처 지정 엑셀 파일을 바꿀 수 없다.
• 원청마다 양식이 다르다.
• 전년도 성과가 대량으로 남아있다.
• 담당자만 아는 엑셀이 있다.
• 현장별로 운용이 다르다.

같은 사정이 있다.

여기서도,

현실의 조직을 멋대로 유능하게 만들면 DX 도입 난이도를 잘못 계산한다.

이론적인 최적해와, 그 회사가 실제로 구현하고 운영할 수 있는 해답은 별개이다.

제목에서는 'AI에 속았다'고 썼지만, AI가 의도적으로 거짓말을 한 것은 아니다.
정확히 말하면,

AI가 구축한, 논리적으로는 매우 일관적인 가상세계를 현실 세계라고 착각해 버린 것.

AI 안에서는 상대방이,

• 선택지를 알고 있고
• 합리적으로 비교할 수 있으며
• 필요한 절차를 조사할 수 있고
• 사람을 움직일 수 있으며
• 끝까지 실행할 수 있다.

라는 능력을 가지고 있었다.

현실에서는 반드시 그렇지 않다.
그래서 지금은,

가능성의 나열
↓
필요 조건의 분해
...

을 나누어 생각하고 있다.

고성능 AI일수록, 엉성한 실수는 줄어든다.
그 대신에,

조금 다른 전제에서, 엄청나게 잘 정론을 만드는

방식의 오류를 발견하기 어려워진다.

인류를 멸망시킬 정도는 아니다.

하지만 가끔은,

부탁하지도 않았는데 적의 스탯(status)을 과하게 설정해서,

이 게임을 하드 모드로 설정해 온다.

실무에서 AI를 사용할 경우, 이런 사소한 사고도 꽤 중요하다고 생각한다.