거짓말을 탐지하는 회로를 찾아서

만약 우리가 AI가 사용자를 *환각(hallucinate)*에 빠뜨리거나 오도하려 할 때마다 작동하는 특정 활동 패턴, 즉 '불성실성 회로(dishonesty circuit)'를 식별할 수 있다면 어떨까요?

현재 우리의 AI와의 관계는 일종의 도박에 기반하고 있습니다. 우리는 기계가 이미 말한 후에야 거짓말을 했다는 것을 깨닫게 되며, 완벽하게 설득력 있게 들리도록 설계된 시스템과 함께 '거짓을 찾아내는' 스트레스 받는 게임을 하게 됩니다. 하지만 만약 우리가 이러한 모델의 내부 회로를 매핑할 수 있다면, AI의 뇌를 위한 일종의 '연기 감지기(smoke detector)'를 구축할 수도 있습니다. 속임수 회로가 작동하는 순간, 사용자가 보기 전에 시스템이 해당 답변을 신뢰할 수 없다고 표시할 수 있게 되는 것입니다.

이것이 어떻게 작동하는지 이해하려면, 먼저 AI의 마음을 광대하고 다차원적인 지도라고 상상해야 합니다. AI가 아는 모든 것—'개(dog)'라는 개념이나 '슬픔(sadness)'이라는 감정까지도—은 이 지도에서 좌표로 저장되는데, 이를 벡터 공간(vector space)이라고 부릅니다.

AI가 생각을 처리할 때, 이 공간을 이동합니다. 표현 공학(Representation engineering)이란 특정 개념에 대한 '나침반 바늘'을 찾는 시도입니다. 연구자들은 진실성이 단순히 AI가 올바른 사실을 가지고 있는 결과가 아니라, 실제로 그 지도상의 뚜렷한 *'방향'*이라는 것을 발견했습니다.

데이터를 위한 무드링(mood ring)처럼 생각해보세요. 다양한 연구에서 연구자들은 모델이 자신이 참이라고 '아는' 사실을 진술할 때, 내부 활동이 특정한 수학적 방향으로 기울어진다는 것을 발견했습니다. 그리고 환각을 일으키거나 거짓말하도록 강요될 때는, 그 활동이 다르고 예측 가능한 다른 방향으로 이동합니다. 이것이 바로 '진실의 방향(truth direction)'입니다.

여기서의 획기적인 점은 이러한 변화가 AI가 답변의 첫 단어를 선택하기 전에 모델의 숨겨진 레이어(hidden layers)에서 발생한다는 것입니다. 부정확하게 행동하겠다는 '결정'이 언어로 번역되기 전에 수학적으로 가시화된다는 것입니다.

이것을 비유적으로 설명하자면, 의료 시험 공부를 위해 AI의 도움을 받는 상황을 상상해 보세요. 희귀 약물의 부작용에 대해 물어본다고 가정합시다. 연기 감지기가 없다면, AI는 실제인 두 가지와 의학 용어처럼 '들리기' 때문에 완전히 지어낸 하나의 부작용을 자신 있게 나열할 수 있습니다. 당신은 그 가짜 부작용을 암기하여 시험에 가져갈 수도 있습니다. 하지만 표현 공학(representation engineering)이 적용된 시스템이라면, 세 번째 부작용을 꾸며내기 시작하는 순간 '진실 벡터(truth vector)'가 하락하는 것을 감지하고 경고를 울릴 것입니다: “마지막 이 부분은 확실하지 않습니다. 교과서로 확인해 주세요.”

비슷하게, 변호사가 주장을 뒷받침할 이전 법원 판례를 찾기 위해 AI를 사용하는 상황을 고려해 봅시다. 우리는 이미 AI가 가짜 사건명이나 기록 번호를 포함하여 전체 법적 인용(legal citations)을 꾸며낸 실제 사례들을 목격했습니다. 만약 '부정직성 회로(dishonesty circuit)' 모니터가 작동하고 있다면, AI는 단순히 가짜 사건명을 출력하는 데 그치지 않고, 접근하는 좌표가 현실 세계의 실체와 일치하지 않음을 인식하여 변호사가 인쇄 버튼을 누르기 전에 해당 인용을 환각(hallucination)으로 표시할 것입니다.

이것은 두 가지 놀라운 가능성을 열어줍니다:

첫째, 실시간 모니터링이 가능합니다. 첫 번째 AI를 '사실 확인'하는 또 다른 AI에 의존하는 대신(이는 느리고 미묘한 거짓말을 놓치는 경우가 많습니다), 우리는 단순히 내부 나침반을 관찰할 수 있습니다. 만약 벡터가 '거짓성(falsity)' 방향으로 기울면, 시스템은 밀리초 단위로 응답을 환각으로 표시할 수 있습니다.

둘째, '조향(steering)'이 가능합니다. 진실성이 어떤 방향을 나타내는지 정확히 알고 있다면, 이론적으로 AI의 내부 상태를 조정할 수 있습니다. 생성 과정 중에 수학적인 '추진력(push)'을 진실성 방향으로 적용함으로써, 연구자들은 전체 AI를 처음부터 재훈련할 필요 없이 환각을 줄이고 모델을 더 정직하게 만들 수 있었습니다.

본질적으로, 우리는 AI를 출력을만 볼 수 있는 '블랙박스(black box)'로 취급하는 것에서 벗어나, 거짓말이 말해지기 전에 내부의 기어들이 움직이는 것을 볼 수 있는 유리 상자(glass box)로 접근하고 있습니다.