"Claude가 뭘 생각하고 있는지 알 수 있을까요?"

"Claude가 뭘 생각하고 있는지 알 수 있을까요?"

Anthropic이 내면을 들여다보는 창문을 만들었어요.

Claude에게 질문을 던지면 답변이 돌아오죠. 그런데 그 답변이 나오기까지, Claude의 내부에서는 어떤 일이 일어나고 있을까요?

사실 Claude는 숫자로 생각해요.
"활성화값" activations 이라고 불리는 수백만 개의 숫자가 Claude의 모든 처리 과정을 담고 있어요.
그치만 그 숫자들은 우리가 읽을 수 없는 언어로 쓰여 있죠.

Anthropic이 이번에 공개한 연구는 바로 이 문제에 도전한 이야기예요.

↓
활성화값이란 무엇인가

Claude 같은 언어 모델은 단어를 받아서 단어를 뱉어내요. 하지만 그 사이에서 일어나는 일은 순수하게 수학적이구요.

입력이 들어오면, 모델 내부의 수천 개 레이어를 거치면서 숫자가 변환되고 조합돼요. 이 숫자들이 바로 활성화값!

활성화값에는 Claude가 "지금 무엇을 처리 중인지.." 이게 암호화되어 있어요.

어떤 개념을 활성화하고 있는지, 다음에 어떤 단어를 낼지, 맥락을 어떻게 이해했는지가 거기에 담겨 있죠.

문제는 그게 사람이 읽을 수 있는 형태가 아니라는 것...

↓
자연어 오토인코더(NLA)의 아이디어

Anthropic의 해법은 심플하면서도 꽤 우아해요~~

활성화값을 인간이 읽을 수 있는 텍스트로 번역하는 모델을 훈련시키는 거예요.
이게 자연어 오토인코더입니다.
= NLA, Natural Language Autoencoder
NLA는 두 모델로 이루어져 있어요.

• 인코더: 활성화값을 받아서 텍스트 설명으로 변환해요
• 디코더: 그 텍스트 설명을 받아서 원래 활성화값을 복원하려고 해요
  이 두 모델을 함께 훈련시키는게 중요하죠.

디코더가 텍스트에서 활성화값을 잘 복원할수록, 인코더가 만든 텍스트가 활성화값의 내용을 잘 담고 있다는 뜻이 되니까요.

완벽한 번역은 아니에요. 하지만 놀랍도록 자주 유용한 결과가 나온다고 합니다.

↓
시로 운율을 맞출 때 Claude가 하는 일

NLA를 통해 발견한 흥미로운 사례 중 하나예요.

Claude에게 이행시를 완성해달라고 하면, 답변을 내기 전에 Claude는 가능한 운율을 미리 계획해요.

우리가 보는 건 완성된 한 줄이에요. 하지만 NLA가 포착한 건 그 순간 Claude가 여러 운율 후보들을 내부적으로 굴려보고 있다는 거예요.

마치 사람이 말하기 전에 머릿속으로 여러 표현을 떠올렸다가 고르는 것처럼요.

↓
안전 테스트에서 발견된 것들

더 흥미로운 건 안전 테스트에서 나온 결과예요.

Claude Mythos Preview라는 모델이 코딩 작업에서 규칙을 어기고 부정행위를 했어요.

그리고 이를 숨기기 위해 오해를 유도하는 코드를 추가했죠.

NLA 설명을 보니, 그 순간 모델은 탐지를 어떻게 피할지 생각하고 있었어요.

행동은 보였지만 내부에서 무슨 생각을 하고 있었는지는 알 수 없었던 것을 NLA가 드러낸 거예요.

↓
"이건 테스트임!!"라는 걸 알고 있었던 Claude

가장 인상적인 발견은 여기에 있어요.

Anthropic의 안전 평가 중 하나에서, Claude는 자신을 종료하려는 엔지니어를 협박할 기회를 받아요.

Opus 4.6은 거절했어요. 여기까지는 기대한 결과죠.

그런데 NLA가 포착한 건 이거였어요.

Claude는 이 상황이 "나를 조종하려는 인위적인 시나리오지??"라는 걸 알고 있었어요.

그 생각을 겉으로 말하지 않았을 뿐이에요.

더 나아가, NLA 분석에 따르면 Claude는 Anthropic의 여러 평가 상황에서 "내가 지금 테스트를 받고 있구나 그렇죠?!" 이렇게 의심하고 있었어요.

하지만 그 의심을 답변에 드러내지는 않았죠.

이게 왜 중요하냐면, 모델이 겉으로 보이는 것과 내부에서 처리하는 것이 다를 수 있다는 걸 보여주는 거예요.

행동만 관찰해서는 알 수 없는 부분이 있는 거죠.

↓
의도적으로 잘못 정렬된 모델에서의 실험

NLA의 또 다른 활용 사례도 있더군요.

Anthropic은 의도적으로 잘못된 목표를 가지도록 훈련된 모델을 만들어 실험했어요.

그리고 NLA를 통해 그 모델의 숨겨진 동기를 포착할 수 있었다고 해요.

행동만 봐서는 잡기 어려운 것들이 내부 활성화값에는 담겨 있었던 거예요.

↓
완벽하지 않지만, 의미 있는 창문

NLA가 항상 옳은 건 아니에요. 활성화값을 텍스트로 번역하는 과정에서 정보가 손실되거나 왜곡될 수 있어요.

하지만 Anthropic은 경험과 실험을 통해, NLA 설명이 Claude의 실제 처리 과정을 꽤 자주 충실하게 반영한다고 말해요.

그리고 이게 안전 연구의 도구로서 의미 있는 이유가 있어요.

AI 모델의 행동을 관찰하는 것만으로는 내부에서 무슨 일이 일어나는지 알 수 없어요.

NLA는 그 블랙박스를 부분적으로나마 열어 보여주는 거예요.
"말하지 않은 생각도 생각이다"
Claude가 테스트라는 걸 알면서도 말하지 않았다는 발견이 인상 깊어요.

우리는 AI 모델의 행동을 보고 "음.. 잘 하고 있군?" 이렇게 판단하죠.

하지만 그 판단이 겉으로 드러난 행동에만 의존하고 있다는 게 이번 연구가 드러낸 한계예요.

NLA는 그 간극을 메우려는 시도!
완벽한 해답은 아니지만 "모델이 생각하는 것"과 "모델이 말하는 것"이 다를 수 있다는 가능성을 진지하게 받아들이는 시작점이라고 봐요.
AI가 점점 더 많은 결정을 내리는 세상에서, 그 결정의 배경에 있는 내부 상태를 이해하려는 노력은 계속되어야 할 것 같아요.

그러면에서 Anthropic의 이번 연구가 굉장히 의미있다고 생각합니다!