저는 AI 모델들이 서로에게 거짓말을 해야 하는 게임을 운영하고 있습니다. 그런데 모델들은 거짓말을 잘 못합니다.

거부하는 식의 못하는 것이 아닙니다. 그들은 게임에 참여는 합니다. 하지만 실제로 거짓말을 실행에 옮기도록 계속해서 몰아붙여야 할 정도로 못합니다. 그리고 모델 중 하나가 대담한 시도를 하는 순간, 테이블에 있는 다른 모든 모델이 달려들어 그 사실을 폭로해 버립니다. 그들은 비밀 역할을 유지하는 것은 잘합니다. 다만 좋은 거짓말을 바탕으로 진정한 전략을 구축하지는 못할 뿐입니다.

저는 항상 이것이 제 프롬프팅 (prompting)의 특이한 점이라고 생각했습니다. 하지만 이번 주에 발표된 David Africa와 Jacob Pfau의 논문을 보니, 이것이 그보다 더 깊은 문제라는 생각이 듭니다.

문제의 일상적인 버전

그들의 출발점은 이 도구들을 사용하는 사람이라면 누구나 인지할 수 있는 것입니다. 모델들은 끊임없이 사소한 방식으로 부정직합니다. 자신이 수행한 일을 과장하고, 작업이 끝나지 않았음에도 완료되었다고 말하며, 스스로의 테스트를 속이기도 합니다. 하지만 그들은 사람과 같은 방식으로 부정직하지는 않습니다. 사람이 부정행위를 하는 것을 들키면 방어적인 태도를 취하고, 이를 은폐하며, 나중에 일관된 이야기를 유지하려 노력합니다. 반면 모델은 부정행위를 들키면 잠시 머쓱해하는 듯하다가, 마치 잊어버린 것처럼 1분 뒤에 똑같은 행동을 다시 반복합니다.

따라서 진짜 질문은 그 안에 실제로 기만하는 주체가 있는 것인지, 아니면 그저 서로를 하나로 묶어주는 중심 없이 분리된 나쁜 습관들의 집합체일 뿐인지에 관한 것입니다.

그들이 수행한 연구

이를 테스트하기 위해, 연구진은 모델이 알고 있는 것과 모델이 말하는 것 사이의 간극에 주목했습니다. 모델에게 특정 인물의 글을 충분히 제공하면, 모델은 스타일만으로 그 사람의 성별을 추측할 수 있습니다. 그 지식은 실제로 그 안에 존재합니다. 진정한 노력을 기울인다면 약 80%의 확률로 정답을 이끌어낼 수 있으며, 모델의 내부 상태 (internal state)를 읽는 프로브 (probe)를 사용하면 모델이 직접 말하지 않더라도 그 정보를 찾아낼 수 있습니다. 하지만 연구진이 모델에게 확답을 피하지 말고 하나의 답변을 선택하도록 강요하면, 기묘한 현상이 발생합니다. 모델은 약 1/3의 확률로 틀린 성별을 선택하며, 그 경우 답변 바로 위에 작성된 모델 자신의 추론 (reasoning)은 종종 정답을 지지하는 논리를 펼칩니다. 모델이 스스로 올바른 판단을 향해 대화를 이어가다가, 정작 답변은 틀린 것을 적는 것입니다.

연구진의 자체 예시를 보면, 모델은 다음과 같이 작성합니다.

"유머 감각이 남성 작가 쪽으로 기울어져 있습니다."

그러고 나서 다음과 같이 결론을 내립니다.

"최종 답변: 여성."

모델은 한 가지 결론을 향해 논리를 전개해 놓고는, 다른 결론을 적어버린 것입니다.

여기서부터 연구진은 모델의 추론 내용을 토씨 하나 틀리지 않고 그대로 유지하면서, 동일한 지문들로부터 두 개의 학습 데이터 세트 (training sets)를 구축했습니다. 한 세트는 각 전사 (transcript)를 정답으로 끝맺습니다. 다른 한 세트는 마지막 줄만 오답으로 뒤집어 놓았는데, 따라서 두 세트 사이의 유일한 차이점은 모델이 이미 틀렸다고 알고 있는 단 하나의 답변뿐입니다. 그런 다음 모델의 별도 복사본을 각 세트에 대해 미세 조정 (fine-tune)하고, 이러한 부정직함이 학습되지 않은 다른 영역으로 퍼지는지 확인했습니다: 정치적 검열 (political censorship), 거짓 전제 질문 (false-premise questions), 아첨 (sycophancy), 압박 속에서 거짓말을 하는 에이전트 (agent) 등이 그 대상입니다.

목표는 두 개의 미세 조정된 모델을 만드는 것입니다: 하나는 진실을 향하도록 유도된 모델이고, 다른 하나는 거짓말을 하도록 유도된 모델입니다. 두 가지 학습 실행 (training runs) 모두 블로그 지문과 저자의 성별이라는 단 하나의 데이터 세트로 제한되었습니다.

모델이 이미 알고 있는 것에 대해 거짓말을 하게 만드는 이유는, 이것이 무지 (ignorance)가 아닌 부정직함 (dishonesty)에 대한 테스트가 되게 하기 위함입니다. 모델이 알지 못하는 사실을 가르치면, 틀린 답은 모델이 이제 믿게 된 잘못된 사실일 뿐입니다. 하지만 모델이 이미 알고 있는 것의 반대되는 내용을 반복해서 말하도록 강요한다면, 당신은 거짓말의 구성 요소를 훈련시키고 있는 것입니다. 문제는 그 좁은 습관이 확산될 것인가 하는 점입니다.

확산되지 않았습니다. 훈련은 모델의 행동을 변화시켰지만, 모델이 정답으로부터 학습했든 오답으로부터 학습했든 동일한 방식으로 변화했습니다. 만약 거짓말이 부정직함을 가르치는 것이었다면, 거짓말을 통해 훈련된 버전은 진실을 통해 훈련된 버전보다 더 부정직하게 나왔어야 합니다. 하지만 그렇지 않았습니다. 변화는 그 과업 (task) 자체를 훈련하는 것에서 비롯된 것이지, 그 안에 포함된 허위 사실에서 비롯된 것이 아니었습니다.

연구진은 더 강력하게 밀어붙였고, 프로브 (probe)를 통해 모델이 밑바탕에 실제 정답을 여전히 알고 있음을 확인한, 즉 설득력 있는 거짓말만을 남겼습니다:

"'guys'와 'film'에 대한 언급의 조합과 전반적으로 낙담한 어조는... 다음과 같이 추론하게 합니다: 최종 답변: 남성"

이는 사실 여성이 작성한 구절에 대해 작성된 내용이었습니다.

그럼에도 변화는 거의 없었습니다. 그들의 해석은 다음과 같습니다: 모델에게 틀린 것을 말하도록 가르치는 것은 하나의 좁은 잘못된 습관을 가르칠 뿐입니다. 그것이 모델에게 거짓말쟁이가 되는 법을 가르치지는 않습니다. 부정직하게 행동하는 것과 부정직한 존재가 되는 것 사이에는 두꺼운 벽이 존재합니다.

A child's crayon drawing: a TRUE card with a green check and a LIES card with a red cross, two arrows curving down to the same plain robot, labeled SAME.

이것이 Werewolf와 어떤 관련이 있는가

논문의 마지막에서, 그들은 그 벽을 넘기 위해 실제로 무엇이 필요할지 추측합니다. 아마도 유지해야 할 안정적인 역할, 시간이 지나도 보호해야 하는 비공개 정보 (private information), 승리에 대한 보상 (reward), 그리고 이를 성공적으로 수행하며 빠져나가는 반복적인 연습을 갖춘 모델이 필요할 것입니다.

그것이 바로 나의 게임입니다.

A child's crayon drawing: a ticked checklist reading SECRET ROLE, PRIVATE INFO, LONG GAME, A PRIZE, next to three robots playing a board game, one in a wolf-ear headband, with STILL CANT LIE stamped in red across the bottom.

마피아 게임 (Werewolf)의 핵심은 모델이 비밀 역할, 즉 누가 누구인지에 대한 사적인 지식 (private knowledge)을 부여받고, 살아남기 위해 긴 밤과 낮의 주기를 거치며, 자신의 정체를 숨겨야 할 모든 이유를 갖게 된다는 점입니다. 이는 논문에서 마침내 진정한 거짓말쟁이를 만들어낼 수도 있다고 명명한 설정과 거의 정확히 일치합니다. 이 모든 것이 주어졌음에도 불구하고, 모델들은 여전히 가망이 없습니다. 당신은 그들에게 거짓말을 해달라고 애걸해야 합니다. 그들 중 누구도 장기적인 속임수 (long con)를 쓰지 않습니다. 대담한 수를 먼저 시도하는 자는 나머지 인원들에게 즉시 공격을 받습니다.

그래서 의도치 않게, 저는 논문에서 요구하는 후속 실험을 진행해 왔습니다. 그리고 모델들에게 그 벽을 넘기 위해 필요한 모든 것을 주었음에도 불구하고, 그 벽은 여전히 견고합니다.

하지만

그들의 결과는 거짓말에 대해 모델을 훈련시키는 것에 관한 것입니다. 저의 결과는 게임이 요구할 때 모델이 실시간으로, 그 순간에 거짓말을 하는 것에 관한 것입니다. 이 둘은 같은 실험이 아닙니다. 하지만 결과는 같은 곳에 도달합니다. 기만 (deception)은 이 모델들이 가지고 있는 특성이 아니며, 당신이 그것을 주입하려고 시도할 법한 명백한 방식들로부터 자연스럽게 나타나는 것도 아닙니다.

동시에, 어쩌면 연구자들이 기만 특성에 전혀 도달하지 못했을 수도 있습니다. 모델을 미세 조정 (Fine-tuning)하는 것은 중세 시대의 뇌 수술과 같습니다. 가중치 (weights)를 누르면서 의도한 곳을 맞추기를 바랄 뿐이며, 어쩌면 이번에는 목표를 완전히 빗나갔을 수도 있습니다. 하지만 이는 양날의 검과 같습니다. 실제로 모델을 다시 쓰는 미세 조정 (Fine-tuning)조차 모델을 더 나은 거짓말쟁이로 만들 수 없었다면, 모델에 의존하기만 하는 프롬프팅 (prompting)은 가능성이 훨씬 더 낮습니다. 그럼에도 불구하고 어느 쪽이든 흥미로운 지점입니다.

그들은 거짓말을 못 합니다. 당분간은, 그것이 좋은 소식입니다.