지난 편에서 '문장을 한 글자도 쓰지 않는 AI'인 Jev를 소개했습니다. 일반적인 AI가 문장으로 답변하는 것과 달리, Jev는 선택지와 확률만을 반환합니다. 지난 편 말미에 '신뢰도의 숫자가 진짜인지 아닌지는 사용할 권한이 생겼을 때 확인해야 한다'고 적었습니다. 그 순서가 돌아왔기에, 저는 이를 확인해 본 기록입니다.
점수가 중요한 것이 아니었다
지난 편에서 가장 궁금했던 것은 정답률이 아니었습니다.
제가 집에서 AI를 흉내 내어 테스트했을 때 이런 일이 벌어졌습니다.
신뢰도 96%라고 말하면서 당당하게 틀린 것입니다.
본문에 '수만 원의 거래가 완료되었습니다'라고 적힌 이메일을, '돈이 움직이지 않았다'고 신뢰도 96%로 판단한 것입니다.
이는 단순히 틀리는 것보다 더 골치 아픕니다. 스스로 오류를 발견할 수 없기 때문입니다. 설령 '신뢰도가 낮은 것만 인간이 확인한다'는 시스템을 만들더라도, 자신감 넘치게 틀린 것은 빠져나갈 수 있습니다.
개발사 측의 주장은 Jev가 이 신뢰도 점수를 정확하게 맞추도록 특별히 훈련받았다는 것이었습니다. 그것이 정말인지 알고 싶었습니다.
이메일 602통으로 세 AI에게 같은 질문을 했다
저에게 온 이메일 602통을 세 개의 AI에 동일한 질문으로 읽게 했습니다.
읽게 한 대상은 다음과 같습니다. 이후부터는 이 이름으로 부르겠습니다.
- Jev… 이번 주인공 -
- 집의 AI… 지난 편에서 Jev 방식을 흉내 낸 버전 -
- 이전의 AI… 원래 이메일 분류에 사용하던 AI
질문은 '이 이메일은 돈이 움직인 알림인가?' 중 하나였습니다.
여기서 중요한 것은, 정답을 인간이 결정했다는 점입니다. AI끼리 비교해도 세 개 모두 틀렸다면 차이를 알 수 없습니다. 그래서 의견이 갈린 37통과 무작위로 선택한 30통, 총 65통에 대해 제가 직접 이메일을 열어 읽고 한 통씩 정답을 결정했습니다. 사소한 작업이지만, 이것을 하지 않으면 아무 말도 할 수 없습니다.
점수로는 집의 컴퓨터에게 패했다
의견이 갈린 35통의 정답률은 다음과 같았습니다 (나머지 2통은 저 스스로 정답을 결정할 수 없었기에 제외했습니다).
| 정답률 |
|---|
| 집의 AI … 83% |
| ... |
| Jev가 패배했습니다. '큰돈을 들여 전용으로 만든 AI가, 가정용 컴퓨터에게 패했다'는 결과입니다. |
다만, 이것은 의견이 갈린 35통만의 수치라는 점을 분명히 밝힙니다. 무작위로 선택한 30통의 경우는, 세 개 모두 만점이었습니다. 일반적인 이메일에서는 차이가 나지 않습니다. 차이가 나는 것은 어려운 문제들에서만 나타나며, 이번에는 그 부분만을 뽑아 비교하고 있습니다.
보통이라면 여기서 '기대에 못 미쳤다'고 결론 내리고 끝날 것입니다. 그런데 오류를 분석해 보니 이야기가 완전히 뒤집혔습니다.
그래도 쓸 수 있는 이유는, 틀리는 방식이 정반대이기 때문이다
각 AI가 틀렸을 때 얼마나 높은 신뢰도를 가지고 있었는지를 나열해 보았습니다.
- 집의 AI… 96% / 89% / 78% / 76% / 57% / 53% -
- Jev… 74% / 69% / 68% / 63% / 61% / 55% / 54% / 51%(7회)
Jev는 74%보다 높은 신뢰도에서는 한 번도 틀린 적이 없습니다. 틀릴 때는 반드시 '신뢰도가 낮다'고 말하고 있습니다.
誰にも気づかれない間違いは、どちらが多いか — 間違えたときの自信の分布。自信75%以上で間違えた件数は Jev 0件、自宅のAI 4件
여기서 '신뢰도 75% 미만은 인간이 확인한다'는 선을 그어봅니다.
| 자동 처리한 통 수 | 그중 오류 |
|---|
| Jev | 12통 |
| 집의 AI | 28통 |
집의 AI는 선을 95%까지 올려도 오류가 섞여 나옵니다. 어디에 선을 그어도 안전하지 않습니다.
길 안내로 생각하면 이해하기 쉽습니다.
- 집의 AI는 길을 잘 아는 사람과 비슷합니다. 10번 물으면 8번은 맞습니다. 하지만 모르는 길에서도 '이쪽입니다'라고 단언합니다. 따라가면 가끔 전혀 다른 곳에 도착합니다. -
- Jev는, 그렇게 자세히 알지 못하는 사람과 비슷합니다. 10번 중 6번밖에 맞추지 못합니다. 하지만 모를 때는 '아마 이쪽일 것 같은데, 신뢰도가 낮습니다'라고 솔직하게 말합니다. 그래서 신뢰도가 낮다고 할 때만 지도를 보면 됩니다.
길을 잃고 싶지 않다면, 맡겨야 할 쪽은 후자입니다. 정답률이 높다는 것과 믿음직하다는 것은 별개의 문제인 것입니다.
집의 AI는 대부분 '신뢰 있음'이라고만 말한다
집의 AI의 신뢰도 점수를 모두 나열해 보니, 이유가 명확했습니다.
543통 중 191통이 '신뢰도 99% 이상'입니다. 반대로 '신뢰도 80% 미만'은 겨우 13통밖에 없습니다.
즉, 대부분 전부에 대해 '신뢰 있음'이라고 답하고 있습니다. 이러면 어디서 구획을 나누어도 의미가 없습니다. 전원이 만점이라면 답안지에서 차이가 나지 않는 것과 같습니다.
Jev는 약 10%의 이메일에 '자신도 70% 미만'이라는 표시를 붙이고 있었다. 그리고 그 10%에 오류가 집중되어 있었다. 제대로 "모르겠다"고 말할 수 있다.
전편에서 썼던 "형태는 모방할 수 있어도, 자신감의 정확도는 모방할 수 없다"는 예상은 숫자로 뒷받침되는 형태가 되었다.
의견이 갈린 진짜 이유는 AI 때문이 아니었다
의견이 갈린 37건에 정답을 매기는 작업에서 가장 시간이 오래 걸린 것은 사실 AI의 평가가 아니었다.
"돈이 움직인 알림"의 정의를 결정하는 것이었다.
예를 들어 온라인 쇼핑몰 이메일을 생각해 보라.
- "주문해 주셔서 감사합니다"
- "상품을 발송했습니다"
- "상품을 도착시켰습니다"
돈이 움직인 것은 어느 것일까. 엄밀히 말하면 첫 번째 경우뿐이다. 2와 3은 단지 물건의 위치가 바뀐 것일 뿐, 지갑에서는 아무것도 나오지 않았다. 하지만 "쇼핑 기록으로 남기고 싶다"는 목적이라면, 세 가지 모두 기록하고 싶어진다.
어떤 입장을 취하느냐에 따라 AI의 점수 3가지가 동시에 변해버린다. 실제로 이 정의만 바꿔도 정답률 순서가 움직였다.
즉, "AI의 의견이 갈렸다"는 내용물은 상당 부분이 "애초에 인간이 답을 결정하지 않았기 때문"이었다. AI의 성능을 의심하기 전에, 자신이 질문을 제대로 정의했는지 의심해야 했다. 이것이 이번 가장 크게 와닿은 반성이다.
설명을 정교하게 하니 성적이 떨어졌다
이전 AI는 정답률 49%로 최하위였고, 게다가 틀린 것 대부분이 '놓침'이었다. 청구 예정이나 주문 확인을 돈과 관련된 이야기가 아니라고 판정해버렸다.
그래서 지시문을 정교하게 다시 작성했다. "이런 경우는 해당한다"를 4가지 패턴으로, "이런 경우는 해당하지 않는다"를 7가지 패턴으로 구체적인 예시와 함께 추가했다. 누가 읽어도 알 수 있는 설명이 되었을 것이라고 생각했다.
결과는 악화되었다.
| 수정 전 | 수정 후 | |
|---|---|
| 정답률 78% | 74% |
| ... |
놓침은 의도대로 줄었다. 그런데 공백(空振り)이 12배로 늘어나서, 순수하게 따지면 점수가 떨어졌다.
더욱 황당한 것은, 늘어난 공백 9건이 '해당하지 않는다고 명시한 항목' 그 자체였다."이것은 아닙니다"라고 적은 예시를, 당당하게 "해당합니다"라고 답해버린 것이다.
AI에게 지시하는 것은 설명을 추가할수록 좋아지는 것이 아니다. 조건을 나열할수록 뒤쪽 조건이 밀려나게 된다. 하나의 지시로 욕심내지 말고, 작은 질문으로 나누어 답변의 조합은 자신의 프로그램으로 하는 편이 더 잘 작동한다. 실제로 질문을 3개로 나눈 자가(自家) AI가 이번에 가장 높은 점수를 받았다.
비용과 속도
참고로 실제 소요된 비용을 적어둔다.
- 602건으로 0.041달러 (약 6원). 건당 0.00007달러이므로, 1만 건을 읽히게 해도 100원 조금 넘는다.
- 답변 속도는 빠른 쪽부터 세어 만 경우로 평균 0.46초. 자가 AI는 질문 하나에 1.3초가 걸리고, 질문이 3개라 약 4초가 소요된다.
- 전편에서 썼듯이, 비용은 입력만 하면 되고 출력은 무료였다. 글을 쓰지 않기 때문에 출력이 거의 없다.
저렴함과 속도는 광고대로였다.
요약
- Jev의 자신감 수치는 진짜였다. 틀릴 때는 제대로 자신감을 낮춘다.
- 다만 정답률은 자가 AI 쪽이 더 높았다. 잘 맞는 것과 믿을 만한 것은 별개이다.
- 자동화의 선을 긋고 싶다면, 점수보다는 "모르겠다고 말할 수 있는지"로 선택해야 한다.
- 의견이 갈릴 때는, AI를 의심하기 전에 질문의 정의가 명확하게 정해졌는지 의심해야 한다.
- AI에게 지시하는 것은, 정교하게 추가할수록 좋아진다고 할 수 없다. 작게 나누는 편이 효과적이다.
- 비용은 602건에 약 6원, 답변 속도는 0.5초가 채 걸리지 않았다.
전편에서 던졌던 질문에는 답을 얻었다. "자신감의 숫자가 진짜인지"는 진짜였으며, 게다가 그것은 점수와는 다른 가치였다는 것이 이번 가장 큰 수확이다.
출처: 자가 환경에서의 실측 (2026년 9월 19일 · 이메일 602건 / 사람의 손으로 정답을 매긴 65건). Jev의 훈련 방법이나 공시 값은 개발사 발표에 따르며, 전편 참고 문헌을 참조.
최초 게재: note (2026년 9월 19일 공개). note 계정은 폐쇄되어 원문 기사는 현존하지 않는다.
Discussion
