AI는 지식을, 인간은 맥락을 갖는다

요약. 점점 더 자주 텍스트가 독자에게 도달하기까지 두 개의 변환기(converter)를 거치게 됩니다. 바로 작가가 작성할 때 사용하는 AI와 독자를 위해 요약하는 AI입니다. 산업 계측 분야에서 이러한 설계는 '측정 채널(measurement channel)'이라고 불리며, 잘 알려진 특성이 있습니다. 즉, 각 링크의 오차가 누적되므로 부분만 확인할 것이 아니라 전체 채널을 확인해야 합니다. AI는 지식은 이 채널을 통해 잘 전달합니다. 하지만 맥락(Context)은 그렇지 못합니다. 아래에서 어떤 맥락이 손실되는지, 하나의 모델 독자 모두가 공유하는 오류가 일반적인 오해보다 왜 더 위험한지, 그리고 작가와 독자가 이 채널을 어떻게 검증할 수 있는지 살펴보겠습니다.

작가와 독자 사이의 두 변환기

얼마 전만 해도 텍스트는 작가로부터 독자에게 거의 직접적으로 전달되었습니다. 작가가 쓰고, 독자가 읽었습니다. 사람들은 다르게 이해했지만, 같은 것을 읽었습니다.

하지만 이제 그들 사이에 점점 더 많은 두 개의 변환기가 생겨나고 있습니다. 첫 번째는 작가의 측면에 있습니다. AI가 초안을 작성하고, 문구를 선택하며, 내용을 줄이는 데 도움을 줍니다. 두 번째는 독자의 측면입니다. AI가 긴 텍스트를 다시 이야기하고(retells), 피드를 필터링하여 한 사람의 관심사에 맞춰 요약본을 만듭니다. 원문 자체를 보는 사람은 점점 적어지고 있습니다.

텍스트가 양 끝단에서 모두 AI를 거쳐 전달된다는 생각은 새로운 것이 아닙니다. 저는 이것을 재앙이나 발전으로 보지 않습니다. 그저 새로운 신호 경로(signal path)일 뿐입니다. 그리고 신호 경로는 제가 산업 계측 분야에서 18년 동안 다뤄온 것입니다. 여기서 저의 기여는 이를 계측학자(metrologist)의 시각으로 바라보는 것입니다.

측정 채널이 작동하는 방식

공장에서는 작업자가 물리량을 직접 보는 경우는 거의 없습니다. 파이프 속 압력은 다음과 같은 경로를 거칩니다:

1. 센서가 압력을 전기 신호로 변환합니다.
2. 신호 변환기(signal converter)가 이를 표준 형태로 가져옵니다.
3. 케이블이 제어기(controller)까지 운반합니다.
4. 제어기가 신호를 다시 압력 단위로 변환합니다.
5. 화면에 숫자가 표시되어 작업자에게 보여집니다.

각 링크는 자체적인 오류를 추가하고, 이 오류들이 누적됩니다. 이것이 바로 계측학(metrology)이 그러한 시스템을 확인하는 두 가지 방법을 갖게 된 이유입니다. 첫 번째 방법은 개별적으로 각 요소를 검증하며 링크 단위로 확인하는 것이고, 두 번째 방법은 센서 입력부터 화면의 숫자에 이르기까지 전체 채널을 검증하는 것입니다. 후자의 방식은 전자가 놓치는 것, 즉 케이블의 영향, 간섭(interference), 단위 변환에서의 실수를 포착합니다.

여기에는 관료주의처럼 보이는 또 하나의 규칙이 있습니다. 측정 결과는 단순히 숫자가 아닙니다. 그것은 값(value)이며, 단위(unit)이고, 불확실성(uncertainty)이며, 그리고 그 값이 얻어진 조건들입니다. '20도'라는 것은 조건 없이서는 아무 의미가 없습니다. 작업장에서는 정상일 수 있지만, 용광로에서는 실패를 의미합니다.

지식은 채널을 통과하지만, 맥락은 그렇지 않다

텍스트 역시 같은 종류의 채널을 갖게 되었습니다. 즉, 저자의 생각 → 저자의 변환기(converter) → 텍스트 → 독자의 변환기 → 요약입니다. 그리고 동일한 규칙이 적용됩니다. 측정 조건이 없는 값은 무의미하며, AI가 가장 잘 전달하는 것은 바로 그 '값'입니다.

모델은 방대한 지식 저장고를 가지고 있습니다. 종종 저자보다 주제에 대해 더 잘 알고 있습니다. 하지만 지식은 '값'일 뿐입니다. 그것에 의미를 부여하는 조건들은 인간에게서 나옵니다. 채널을 통해 거의 전달되지 않는 세 가지 종류의 맥락이 있습니다.

암묵적 맥락(Unspoken context). 말할 생각은 없지만 알고 있는 것들: 청중이 누구인지, 이 논의에서 이미 무엇이 언급되었는지, 여기서 무엇이 논의되고 있지 않은지, 전문가들이 상식으로 여기는 것이 무엇인지. 모델은 모를 때 자신이 모른다는 것을 모르기 때문에 질문하지 않습니다.

결과에 대한 맥락(Context of consequences). 모델이 아닌 당신이 위험에 처하는 것들: 평판, 고객과의 관계, 플랫폼에서의 위상. 모델은 칭찬을 받을 글과 산산조각 날 글을 똑같은 차분함으로 작성합니다.

변화하는 맥락(Changing context). 작업을 설정한 후에 일어난 일들. 스레드의 새로운 댓글, 최신 뉴스, 청중의 분위기 변화.

명백한 반론: 프롬프트에 맥락을 넣을 수 있다. 인지하고 있다면 가능하다는 것이다. 문제는 첫 번째와 두 번째 종류의 맥락은 보통 무언가 잘못되기 전까지 눈에 띄지 않는다는 점이다.

모든 독자가 공유하는 오류

사람들은 AI 없이도 같은 텍스트를 다르게 이해한다. '그래서 뭐가 달라졌는가?'라고 물을 수 있다. 오류의 본질이 바뀐 것이다.

모든 사람은 안정적인 인식 편향, 즉 심리학에서 인지 편향(cognitive biases)이라고 부르는 것을 가지고 있다. 하지만 사람마다 다르다. 백 명의 독자는 백 가지 다른 방향으로 오류를 범하고, 토론에서는 보통 올바른 의미가 도출된다.

많은 사람이 같은 모델을 읽으면, 그 경향은 모두에게 동일하다. 계측학(metrology)에서는 이를 상관 오류(correlated error)라고 부르는데, 이는 여러 채널에 의해 공유되며 평균을 내도 줄어들지 않는다. 하지만 한 도구로 만든 여러 요약을 비교해도, 그들이 공유하는 변화는 여전히 눈에 보이지 않는다.

워크숍에서 이런 모습이다: 만약 열 개의 온도계가 같은 기준값으로 교정되었는데, 그 기준값 자체가 0.5도 틀렸다면, 열 개 모두 0.5도 높게 측정할 것이다. 서로 비교한다고 해서 오류를 발견할 수 없다. 모두가 동의하기 때문이다. 오직 또 다른 독립적인 기준과 비교해야만 찾을 수 있다.

개인별 조정(Personal tuning)은 한 층을 더 추가한다. 개인화라는 논리 자체로 인해, 필터는 각 독자의 의미를 자신만의 방향으로 이동시키며, 가장 가능성이 높은 것은 그 사람이 이미 알고 있는 주제와 견해 쪽이다. 이것이 나의 가설이지만, 메커니즘이 그렇게 시사한다. 독자는 변화를 감지하지 못한다: 요약은 매끄럽고 논리적으로 보인다. 여기서 기준값은 원본 텍스트다. 유일한 질문은 그것이 마지막으로 열린 때가 언제냐는 것이다.

실무 사례

최근 나는 내가 전문 분야가 아닌 곳의 토론에 댓글을 달았다. AI가 초안을 작성하는 것을 도와주었다. 그 안에 담긴 비유가 우아했다. 하지만 그 댓글은 낮은 평가를 받았다.

이를 살펴보니 이중 오류가 있었습니다. 첫 번째는 지식에 관한 것이었습니다. 특정 진술이 해당 분야에서 부정확했기 때문인데, 전문가들은 댓글이 시사하는 것보다 그 주제를 더 깊이 알고 있었습니다. 두 번째는 맥락에 관한 것이었습니다. AI는 논의 자체를 알지 못했습니다. 즉, 위에서 이미 언급된 내용, 그곳 사람들이 오랫동안 공통 지식으로 여겨온 것, 그리고 외부 출처의 비유를 얼마나 엄격하게 다루는지 등을 모르는 것입니다.

두 번째 오류가 첫 번째 오류를 숨기고 있었습니다. 만약 제가 플랫폼의 맥락을 알고 있었다면, 게시하기 전에 그 진술에 의문을 제기했을 것입니다. 이것이 바로 말하지 않은 맥락입니다. 즉, 제가 알지 못했기 때문에 전달하지 못한 맥락인 셈입니다.

제 자신의 분야에서 같은 방식으로 작성된 댓글들은 잘 통했습니다. 그때는 저에게 맥락이 있었습니다. 초안에서 무엇이 부정확한지 그리고 청중이 이미 무엇을 알고 있는지 즉시 파악할 수 있었기 때문입니다. 한 사례가 실험이 아니라 일러스트레이션일 뿐이라는 것이죠. 하지만 이것은 핵심 포인트를 보여줍니다. 바로 맥락 없이는 저자조차 지식을 검증할 수 없다는 것입니다.

이 채널에는 검증 링크가 있었습니다. 즉, 제가 게시하기 전에 스스로 확인하는 과정이었습니다. 그때는 실패했습니다. 제 분야 밖의 영역에서는 저의 지식만으로는 부정확함을 포착하기에 충분하지 않았고, 저는 플랫폼의 맥락을 확인하지 못했습니다.

채널 검증 (Verifying the channel)

만약 이 채널이 이제 두 개의 변환기(converters)를 갖게 되었다면, 양쪽 모두에서 검증되어야 합니다. 제가 사용하는 절차는 다음과 같습니다.

여기에는 복잡한 것이 없습니다. 식물에 대한 논리와 같습니다. 모든 연결고리가 검증되고, 전체 채널이 검증되며, 그 결과는 얻어진 조건과 함께 제시됩니다.

반대 사례 (The case against)

작업에서 맥락을 전달할 수 있다. 네, 그리고 그것이 주된 해결책입니다. 하지만 당신은 자신이 알고 있는 맥락만을 전달할 수 있습니다. 가장 값비싼 실수는 당신이 생각하지 못한 맥락에서 발생합니다.

사람들은 AI 없이도 의미를 왜곡한다. 이것 역시 사실이다. 재구성된 이야기(Retellings), 맥락에서 벗어난 인용문, 헤드라인 등은 모델이 등장하기 훨씬 전부터 존재해 왔다. 내 관점에서 차이점은 규모와 오류의 본질에 있다: 여러 사람들의 왜곡은 서로 다르지만, 한 모델을 사용하는 독자들은 동일한 왜곡을 공유한다.****

비유는 부정확하다. 측정 채널의 연결 고리에는 지정된 정확도가 있다. AI 요약기는 아무런 사양도 없으며, 그 행동은 버전마다 달라진다. 따라서 이 비유는 오류가 축적되는 이유를 설명하지만, 그것들을 계산할 수는 없다. 계측학(Metrology)에도 이에 대한 답이 있다: 사양이 없는 기구는 기준 샘플을 사용하여 실험적으로 특성화된다. 텍스트의 경우, 그 기준은 원본이다.**

요약은 시간을 절약한다. 물론이고, 이것을 포기할 이유는 없다. 기구 또한 수동 측정에 비해 시간을 절약해 준다. 하지만 당신은 그것을 대체하는 것이 아니라 검증과 함께 사용한다.

모델들은 더 좋아지고 있다. 그렇다. 모델들은 더 많은 지식과 더 큰 컨텍스트 윈도우를 갖게 될 것이다. 그러나 말하지 않은 맥락(unspoken context)과 결과의 맥락은 사람이 전달할 때까지 인간에게 머문다. 아무리 좋은 모델이라도 그 사람이 결코 말하지 않은 것을 받아낼 수는 없다.

결론 대신에

AI는 지식을 가지고 있고, 인간은 맥락을 가지고 있다. 지식(Knowledge)이 가치이다. 맥락(Context)은 그 가치에 의미를 부여하는 조건이다. 계측학에서 조건 없는 측정은 받아들여지지 않는다. 컨텍스트가 없는 텍스트는 이제 두 개의 변환기를 거쳐 독자에게 매끄럽고, 자신감 넘치며, 왜곡된 상태로 도달한다.

의미가 독자에게 도달하는 경로는 이미 바뀌었으며, 직접 전송으로 되돌아가기는 어려울 것이다. 의미는 이 경로를 따라 표류할 수 있으므로, 그 경로 자체는 양쪽 끝에서 모두 검증되어야 하며, 항상 원본과 비교되어야 한다: 모든 사람을 공유하는 왜곡은 요약들을 서로 비교함으로써 포착될 수 없다.

AI가 작성하거나 요약한 내용을 어떻게 확인하나요? 내용이 매끄럽게 이어지지만 그 의미가 바뀌어버린 경험을 해보신 적이 있나요?