AI는 나를 기억하는가? 나를 이해하는가?

개인화된 AI가 맥락과 의도를 오해하는 문제점

우리가 AI를 더 많이 사용할수록, AI는 우리에 대해 더 잘 알아야 한다는 것이 약속입니다. 시간이 지나면서 ChatGPT나 Claude 같은 시스템은 우리의 선호도, 배경 정보, 이전 대화 내용 및 수정 사항 등에 대한 정보를 축적할 수 있습니다. 하지만 사람에 대한 정보를 기억하는 것이 그 사람을 이해하는 것과는 다릅니다. 또한 "이해합니다"라고 말한다고 해서 다음 응답에서 그 이해가 확실하게 나타난다는 의미는 아닙니다.

ChatGPT를 사용하면서 겪은 몇 가지 작은 경험들은 개인화된 AI의 더 큰 문제점을 보여줍니다.

1. 나의 말을 이해했지만, 나의 의도는 놓쳤다

저는 상하이의 녹지 공원을 걷다가 지도에 대해 ChatGPT와 대화를 시작했습니다. 지도가 신뢰할 수 없었고, 저는 계속 같은 곳을 맴돌고 있었습니다.
저는 "이 지도는 믿을 수가 없어. 너는 AI잖아? 방법을 찾아내 봐."라는 식의 말을 했습니다.
저는 이 AI에게 내비게이션 시스템을 분석하거나 제 경로를 계획하라고 진지하게 요청한 것이 아니었습니다. 저는 그저 농담을 던지고, 지도가 저를 실망시켰으니 무언가를 생각해내도록 도전하고 있었던 것입니다.
저는 그것이 농담이라는 것을 알아차려 주기를 기대했습니다.
하지만 그렇지 않았습니다. 대신, 그것은 제 말을 심각한 요청으로 간주하여 지도 신뢰성, 환경적 단서, 그리고 방향에 대한 분석을 시작했습니다.
그 응답 자체가 반드시 비합리적인 것은 아니었습니다. 하지만 그 대화에서 제가 무엇을 하고 있었는지 놓쳤습니다. 저는 단순히 지리에 관한 질문을 한 것이 아니라, '대화'를 나누고 있었던 것입니다.

이 구분은 중요합니다. 인간의 의사소통은 단어의 문자적 의미 이상을 포함합니다. 우리는 농담하고, 암시하며, 도전하고, 간접적으로 말합니다.

AI는 초기 해석으로부터 일관성 있게 추론할 수 있으며, 심지어 잘못된 질문에 대해 정교한 답변을 구성해낼 수도 있습니다. 맥락이 오해되면, 그 이후의 추론은 완벽하게 구조화되어 있을지라도 사용자가 실제로 의도했던 것과는 무관할 수 있습니다.

쉽게 말해: 맥락 → 추론 → 결론. 만약 맥락이 잘못 이해된다면, 추론이 시작되기도 전에 결론 자체가 틀릴 수 있습니다.

2. 수정 사항을 기억하는 것과 적용하는 것은 같지 않다
제 이름은 A-R-I-E-L로 철자합니다. 음성 입력의 경우 때때로 "error," "arrow," 또는 "aerial"로 전사되었습니다. 음성 인식(Speech recognition)은 실수를 할 수 있으며, 저는 모든 전사 오류가 모델의 잘못이라고 주장하는 것은 아닙니다.
하지만 문제는 음성 입력에서 끝나지 않습니다. 제가 이 글을 작성하는 동안에도 ChatGPT는 제가 반복적으로 수정했음에도 불구하고 자체 타이핑 답변에 제 이름을 "Arrow"로 적었습니다.
음성 오류에는 여러 원인이 있을 수 있습니다. 그러나 두 번째 오류는 제가 이미 수정했던 텍스트, 즉 모델 스스로가 생성한 텍스트에서 발생했습니다.
이는 더 근본적인 질문을 제기합니다: 올바른 정보가 이미 제공되었을 때, 시스템은 그것을 일관되게 적용할 수 있는가?
단순히 대화만으로는 그 근본 원인이 컨텍스트 처리(context handling), 정보 검색(information retrieval), 또는 응답 생성(response generation) 중 어디에 있는지 확립할 수 없습니다. 관찰할 수 있는 것은, 수정 사항을 인지하는 것이 그 수정 사항이 신뢰성 있게 적용됨을 보장하지 않는다는 점입니다.

3. 개인화가 더 많은 작업을 만들 때
개인화된 AI는 소통하는 데 필요한 노력을 줄여주는 것이 목표입니다.
만약 시스템이 이미 제 이름을 알고 있다면, 제가 매번 철자를 설명할 필요는 없어야 합니다. 이전 대화에서 관련 배경 지식을 가지고 있다면, 모든 교환마다 그 배경을 재구성할 필요도 없어야 합니다. 그리고 만약 제가 실수를 명시적으로 수정했다면, 저는 그 수정 사항이 나중 응답에 반영될 것이라고 합리적으로 기대해야 합니다.
하지만 같은 실수가 반복적인 수정과 인정에도 불구하고 돌아올 때, 사용자는 시스템이 실제로 행동을 변경했는지 계속 확인해야 하는 상황에 놓입니다.
제가 오류를 지적했을 때, 어시스턴트는 사과하고, 이를 인지했으며, 무엇이 잘못되었는지 분석했습니다.
하지만 실수를 인지하는 것이 그것을 수정하는 것과 같지 않으며, 설명하는 것이 그 원인을 파악하는 것과도 같지 않습니다. 제안된 해결책은 그것이 일관되게 작동한다는 증거가 아닙니다.

그 설명은 설득력이 있었지만, 그것이 실제 원인에 대한 진단이었을까요, 아니면 눈앞의 정보로 만들어낸 그럴듯한 이야기였을까요?

이는 역설을 만듭니다. 개인화는 커뮤니케이션 비용을 줄이기 위해 의도되었지만, 신뢰할 수 없는 개인화는 새로운 **감독 비용(supervision cost)**을 도입할 수 있습니다.

사용자는 답변이 정확한지 여부뿐만 아니라, AI가 사용자의 의도를 이해했는지, 관련 컨텍스트를 활용했는지, 그리고 이전의 수정 사항들을 적용했는지까지 확인해야 합니다.

부담은 모든 것을 처음부터 설명하는 것에서 시스템이 이미 알고 있는 것을 반복적으로 검증하는 것으로 이동합니다.

4. 개인화된 AI에게 기대할 것은 무엇인가?

완벽함이 아닙니다. 하지만 최소한 세 가지는 필요합니다:

• 제 의미가 모호할 때, 불확실성을 인식하고 질문해야 합니다.

• 제가 수정하면, 그 수정을 일관되게 적용해야 합니다.

• '이해했습니다'라고 말할 때, 그 이해는 다음에 하는 행동으로 나타나야 합니다. ‘이해한다’고 말하는 것은 별로 증명하지 못합니다. 행동이 증명합니다.

단 한 번의 실패가 모델이 이해력이 부족하다는 것을 증명하지는 않습니다. 하지만 관찰 가능한 행동은 개인화가 실제로 상호작용을 더 신뢰할 수 있게 만드는지 알려줄 수 있습니다.

질문은 단순히 AI가 나에 대해 얼마나 많이 기억하는지에 국한되지 않습니다.

AI가 이미 관련 정보를 가지고 있고 수정 사항까지 받은 경우, 제가 여전히 이해시키기 위해 어느 정도의 노력을 들여야 하는가?

저자 노트: 아이디어와 주장은 제가 개발했으며; AI는 작성 및 수정에 도움을 주었습니다. 예시는 저 자신의 경험에서 가져왔습니다. 가능한 내부 메커니즘에 대해 논하는 부분은 진단이 아니라 추측입니다.