「AI는 거짓말을 한다」의 정체는 확률적인 "부채꼴 모양의 분산"이었다

AI에게 일을 맡기면, 왠지 예상치 못한 결과물이 돌아온다.

그것은 「거짓말」이 아니다. AI는 그저, 그럴듯함(plausibility)에 너무나 충실할 뿐이다.

이 기사는 AI를 「확률적으로 문자열을 생성하는 도구」로서 올바르게 재정의하고, 업무에서 안정적인 성과를 내기 위한 사고방식을 정리한 것이다.

AI는 학습 완료된 모델(Pre-trained model)과 프롬프트(Prompt)로부터 「그럴듯한 문자열의 연속」을 생성하는 도구이다.

여기서 「그럴듯하다」는 것은, 학습 완료된 모델 상에서 다음에 올 확률이 가장 높다는 의미이다. 따라서 우리가 정말로 원하는 것은 다음과 같이 쓸 수 있다.

우리가 원하는 결과물 = AI의 학습 완료된 모델 + 우리 고유의 요구사항

학습 완료된 모델만으로는 「세상 일반적인 그럴듯함」밖에 나오지 않는다. 거기에 고유의 요구사항을 더해야 비로소 우리에게 있어서의 그럴듯함이 된다.

「AI가 아무렇지 않게 거짓말을 한다」라는 말을 자주 듣는다. 하지만 실체는 거짓말이 아니라, 확률 생성기(Probabilistic generator)로서의 거동이 두 가지 원인으로 인해 우리의 기대에서 벗어나 있는 것뿐이다.

AI는 항상 「다음에 올 확률이 가장 높은 문자」를 선택한다. 그런데 어디선가 이상치(Outlier)를 뽑게 되면, 그 이상치를 기준으로 하여 그 이후의 「그럴듯함」을 연속적으로 생성한다.

시작 지점이 어긋나 있는데, 그 이후는 충실하게 그럴듯하게 이어 나간다. 결과적으로 우리 입장에서 보면 「전혀 그럴듯하지 않은 문자열」이 완성된다.

학습 완료된 모델은 일반론밖에 모른다. 우리의 전제·제약·취향을 전달하지 못하면, AI는 일반론 중에서 가장 그럴듯한 것을 반환한다. 그것이 우리의 요구사항과 맞지 않는 것이다.

이 두 가지가 겹치면, 생성되는 문자열은 우리가 원하는 목표를 향해 부채꼴 모양으로·수형도(Tree structure)적으로 분산되어 간다. 처음의 작은 어긋남이 뒷단계로 갈수록 크게 벌어진다. 이것이 「거짓말을 한다」의 정체다.

원하는 목표
★
/|\
...

부채꼴 모양의 분산을 억제하려면, 입구를 좁히고, 중간에 확인하며, 제외할 수 있는 처리는 제외하는 것이 철칙이다.

부채의 뿌리(시작 지점)의 어긋남을 없애는 것이 가장 가성비가 좋다. 전제·제약·목표·샘플을 먼저 전달한다.

계획서나 중간 결과물을 내게 하여, 부채가 완전히 펼쳐지기 전에 어긋남을 감지한다. 「갑작스러운 완성품」을 노리지 않는다.

답이 일의적으로 결정되는 처리를 확률 생성기에게 시켜서는 안 된다. 충분히 검토된 알고리즘을 빌려온다.

• 합계 금액을 계산한다
• 날짜를 비교한다
• CSV를 파싱(Parsing)한다
• 유효성 검사(Validation)를 한다
• 차분(Difference)을 검출한다
• DB의 제약 조건으로 일의성(Uniqueness)을 보장한다

좌표·레이아웃과 같은 기하학적 계산도 확률 생성기는 서툴다.

• 이미지의 좌표를 계산한다
• UI 요소의 위치를 맞춘다
• PDF나 Figma의 레이아웃을 재현한다
• 차분 이미지를 비교한다
• 사각형의 겹침을 판정한다

「이 방향으로 정말 괜찮은가」라는 전체 최적화의 판단은 확률 생성기가 아니라 인간의 일이다.

결정론적(Deterministic)·기하학적인 처리를 외부 도구로 고정하고, 그 사이에 AI의 생성을 끼워 넣는다. 여기에 인간이 양 끝에서 리뷰(Review)로 끼어든다. 이것이 부채꼴 모양의 분산을 제어하는 기본 형태다.

AI는 거짓말을 하지 않는다.

그저 그럴듯함에 충실할 뿐이다.

그렇다면 우리의 일은 「우리에게 있어서의 그럴듯함」을 입구에서 전달하고, 중간에 확인하며, 제외할 수 있는 처리는 제외하는 것. 그것뿐이다.

이 사고방식이 와닿았다면, 꼭 LGTM으로 알려주세요 🙌