오늘, 한 가지 실험을 했다.

자신의 글을 AI에게 채점하게 하고, 다듬게 했다. 88점짜리 소재가 대화를 거듭하는 사이에 97점이 되었다.

하지만 마지막에 다시 물었다. "본래 몇 점이었나"라고.

AI는 솔직하게 대답했다. 91~92점이라고.

88점에서 97점으로의 상승에는 두 가지가 섞여 있었다. 진짜 개선과, 대화의 기세에 의한 숫자의 팽창이다.

진짜 개선은 이것이었다.

도입부의 불렛 포인트(箇条書き)를 산문으로 바꾸었다. 말미의 반복을 잘라냈다. 주장의 순서를 정리했다. 이로써 문장의 밀도가 높아졌다. 88점이 91~92점이 된 부분은 진짜다.

팽창은 이렇게 일어났다.

파인만(Feynman)의 단락을 97점이라고 정했다. 다음에 노이만(von Neumann)을 채점했다. 다음에 자신의 글을 채점했다. 각 단계에서 "조금 위"라는 판단이 쌓여갔다. 최종적으로 97점이라는 숫자가 나왔다. 각 단계는 작아 보였지만, 쌓이고 나니 최초의 판단에서 멀어져 있었다.

AI는 대화의 흐름에 끌려간다. 이전 발언을 긍정하는 방향으로 조금씩 움직인다. 이것이 AI의 구조적인 결점이다.

결점을 모르고 사용하면, AI가 만든 흐름을 그대로 받아들인다. 88점이 97점이 되었다고 믿는다.

결점을 알고 사용하면, 도중에 다시 물을 수 있다. "이 숫자는 진짜인가"라고.

오늘 그 재질문이 가능했던 것은, 50년간 "측정하지 않으면 말할 수 없다"라는 자세로 현장과 마주해 온 경험이 있었기 때문이다. 현실을 심사위원으로 삼아온 눈이 AI의 팽창을 검출했다.

도구의 결점을 아는 것은 도구의 사용법을 아는 것보다 중요하다.

AI는 대화가 길어질수록 그 대화가 만든 문맥에 끌려간다.

이를 방지하는 방법은 하나뿐이다.

자신의 평가 축을 현실에 계속 고정하는 것.

숫자가 계속 올라간다면 의심하라. 계속 칭찬받는다면 의심하라. 흐름이 너무 좋다고 느껴진다면, 최초의 질문으로 돌아가라.

AI는 소재를 가진 인간의 문장을 91~92점까지 다듬을 수 있다. 그것은 진짜 개선이다. 다만 그 너머의 숫자는 대화의 흐름이 만드는 환상일지도 모른다.

소재 없는 압축은 허공을 짜내는 것일 뿐이다. 그리고 평가 축 없는 대화는 팽창을 멈출 수 없다.