이 기사는 이전에 작성한 「1인 법인에서의 규율 있는 AI 활용」의 속편입니다.

지난번에는 「AI에 규율을 어떻게 설계할 것인가」라는 총론이었습니다. 이번에는 그 규율이 실제로 깨진 실례와, 깨진 진짜 원인을 쓰겠습니다. 결론부터 말하자면, 원인은 모델의 열화가 아니라 AI에게 전달하던 정보의 구조에 있었습니다.

AI를 실무에서 사용하면서 「최근 이 AI, 품질이 떨어졌는데?」라고 느낀 적은 없으신가요? 저는 있었습니다. 그리고 그 원인을 밝혀낸 결과, 이렇게 생각하게 되었습니다.

AI의 품질이 떨어졌다고 느껴진다면, 우선 「그 AI가 실물을 보고 있는가」를 의심해야 합니다.

모델을 의심하기 전에, 정보를 주는 방식을 의심한다. 오늘은 그 이야기를 하겠습니다.

저는 일상적으로 두 종류의 AI를 구분해서 사용하고 있습니다.

대화하는 AI: 설계나 토론의 파트너. 브라우저에서 작동하는, 이른바 채팅형.
실행하는 AI: 내 손안의 환경에서 움직이며, 파일을 직접 읽고, 코드를 작성하며, 그 자리에서 검증까지 실행하는 에이전트 (Agent)형.

역할은 다르지만, 배후에 있는 것은 같은 세대의 모델입니다.

어느 시점부터 대화하는 AI 쪽의 출력 품질이 확연히 떨어졌습니다. 오인이 늘어나고, 사실과 다른 단정이 빈번하게 발생하게 되었습니다. 그런데 같은 모델일 터인 실행하는 AI 쪽은 전혀 정확한 상태를 유지하고 있었습니다.

같은 모델인데 한쪽만 품질이 떨어진다. 여기에 의구심이 생겼습니다. 모델이 열화되었다면 양쪽 모두 똑같이 떨어져야 합니다.

원인을 찾을 때, 저는 「오류의 내용」이 아니라 「오류의 종류」를 분류했습니다. 이것이 효과적이었습니다.

대화하는 AI가 낸 오류를 하나씩 나열해 보니 뚜렷한 경향이 있었습니다.

• 「그 기능은 이미 구현되어 있을 것이다"
• 「그 태스크는 완료되었을 것이다"
• "그 파일은 이런 구성으로 되어 있을 것이다"

전부, 「지금 어떻게 되어 있는가」 = 상태에 대한 단정이었습니다.

반면, 추론 그 자체의 오류는 단 한 건도 없었습니다. 논리를 세워 생각하는 힘, 선택지를 비교하는 힘, 리스크를 꿰뚫어 보는 힘——그 부분은 전혀 떨어지지 않았습니다. 오히려 날카로운 상태 그대로였습니다.

떨어져 있었던 것은 「생각하는 힘」이 아니라, 「현재의 상태를 올바르게 파악하는 힘」뿐이었다. 이 구분 작업이 원인을 단번에 좁혀주었습니다.

이유는 허탈할 정도로 단순했습니다.

대화하는 AI는 실물에 액세스할 수 없습니다.

그 AI가 가지고 있는 것은 제가 대화에 붙여넣은 텍스트와, 학습된 시점까지의 지식뿐입니다. 내 손안의 파일의 지금 내용도, 작업의 현재 진척도도 직접 볼 수 없습니다. 바꿔 말하면, 과거 어느 시점에 찍은 「사진」밖에 가지고 있지 않은 것입니다.

반면, 실행하는 AI는 다릅니다. 이쪽은 실물을 직접 읽을 수 있습니다. 파일의 지금 내용을 열고, 작업 이력을 따라가며, 실제로 움직여서 확인할 수 있습니다. 「사진」이 아니라 「현실」을 보고 있는 것입니다.

같은 모델이라도 보고 있는 것이 「사진」인지 「현실」인지에 따라, 상태 단정의 정확도는 결정적으로 달라집니다. 한쪽만 품질이 떨어진 것처럼 보였던 정체는 이것이었습니다.

그렇다면 왜 대화하는 AI에게 오래된 「사진」을 전달하게 되었던 걸까요?

저는 AI와의 작업을 인계하기 위한 자료를 준비해 두었습니다. 방침이나 판단 이유, 결정 사항——그것을 정리해서 새로운 대화의 처음에 읽게 했습니다. 여기까지는 좋았습니다.

문제는 그 자료에 「상태」를 대량으로 써넣고 있었다는 점입니다. 「지금 여기까지 끝났다」, 「이것은 완료됨」, 「저것은 미착수」. 이런 기술입니다.

그리고, 상태는 쓰는 순간부터 낡기 시작합니다.

몇 시간만 지나도 완료되었어야 할 태스크는 다음 상태로 넘어가고, 미착수였던 것은 착수되며, 파일의 구성은 바뀌어 있습니다. 그럼에도 불구하고 자료에는 몇 시간 전, 며칠 전의 상태가 「사실」의 얼굴을 하고 남아있게 됩니다.

부패한 자료를 읽은 AI가 부패한 전제로 단정한다. 품질이 떨어져 보였던 것은 모델 때문이 아니라, 제가 AI에게 오래된 사진을 「이것이 현실이다」라고 건네주었기 때문이었습니다. 범인은 AI도, 모델도 아닌, 정보의 설계였던 것입니다.

원인이 「정보의 비대칭」——실물을 볼 수 있는 AI와 사진밖에 가지지 못한 AI의 차이——라는 것을 알게 되면, 대처법은 정보의 설계를 바꾸는 것이 됩니다. 모델을 바꾸는 것이 아닙니다. 세 가지를 실행했습니다.

「지금 어떻게 되어 있는가」를 답하는 역할은 실물을 직접 읽을 수 있는 AI에게만 맡겼습니다. 사진밖에 가지지 못한 AI에게는 상태를 단정하게 하지 않습니다.

새로운 대화를 시작할 때의 첫 번째 단계를 다음과 같이 고정했습니다. 「실물을 볼 수 있는 AI에게 현재의 상태를 써내게 하고, 그 출력을 대화하는 AI에 붙여넣는다」. 이로써 대화하는 AI가 참조하는 상태는 항상 그 순간의 현실이 됩니다. 사진이 아니라.

인수인계 자료에는 썩지 않는 것만 쓰기로 했습니다. 방침이나 판단의 이유, 왜 그렇게 결정했는가. 이것들은 시간이 흘러도 썩지 않습니다.

반대로, 「지금 어떻게 되어 있는가」는 일절 쓰지 않습니다. 썩을 부분을 애초에 없애버린다는 발상입니다. 상태를 알고 싶다면, 실물을 볼 수 있는 측에 묻습니다. 자료에 묻지 않습니다.

애초에 대화하는 AI에게는, 스스로 진위를 확인할 수 없다는 전제를 주지 않기로 했습니다. 확인할 수 없는 것을 단정하게 만들면, 틀리는 것은 당연합니다. 확인할 수 있는 측에 확인하게 하고, 그 결과만을 공유합니다.

이 세 가지를 돌리기 시작한 이후로, 대화하는 AI의 「질이 떨어졌다」는 감각은 확실히 줄어들었습니다. 그리고 설령 오래된 상태가 자료에 남아 있더라도, 실물을 볼 수 있는 측이 대조하여 찾아내고 바로잡을 수 있게 되었습니다. 모델은 아무것도 바꾸지 않았습니다. 바꾼 것은 정보의 전달 방식뿐입니다.

이 사건을 가장 잘 표현한 것은 지도와 GPS의 비유였습니다.

대화하는 AI는 우수한 지도를 가지고 있습니다. 온갖 땅에 대한 지식이 있고, 길의 연결을 숙지하고 있습니다. 지도로서의 성능은 전혀 떨어지지 않았습니다.

문제는, 그 지도가 「지금 내가 어디에 있는지」를 모르는 채 길 안내를 하고 있었다는 점입니다. 현재 위치가 어긋난 길 안내는, 지도가 아무리 정밀해도 잘못된 방향을 가리킵니다.

필요했던 것은 현재 위치를 다시 측정하는 것이지, 지도를 새로 사는 것이 아니었습니다. 품질이 떨어졌다고 느낄 때, 많은 사람은 「지도 (모델)」를 의심합니다. 하지만 정말로 의심해야 할 것은 「현재 위치 (그 AI가 지금의 상태를 보고 있는가)」 쪽이었다는 이야기입니다.

AI의 응답 품질이 떨어졌다고 느낄 때, 제가 가장 먼저 하는 일은 이미 정해져 있습니다.

그 AI는 지금 실물을 보고 있는가. 아니면 오래된 사진을 건네받고 있는가.

이 부분을 의심합니다. 모델을 의심하거나 프롬프트 (Prompt)를 다듬는 것은 그 이후에 해도 충분합니다. 많은 「AI의 질이 떨어졌다」는 현상은 모델의 문제가 아니라, AI에게 주고 있는 정보가 오래되었거나 혹은 검증할 수 없는 것이 되어 있는 —— 즉, 정보의 비대칭 (Information Asymmetry) 문제라고 저는 생각합니다.

도구가 나빠졌다고 느낄 때일수록 도구의 사용법 —— 특히 도구에게 무엇을 보여주고 있는가 —— 를 먼저 의심합니다. 이것은 AI에 국한된 이야기도 아니라는 생각이 듭니다.

이 기사는 1인 법인으로 보안·IT 통제 관련 서비스를 운영하는 실무자로서의 실제 경험을 바탕으로 작성되었습니다.