Anthropic의 새로운 연구: Natural Language Autoencoders (NLA)

Anthropic의 새로운 연구: Natural Language Autoencoders (NLA).

Claude와 같은 모델들은 단어로 말하지만 숫자로 생각합니다. 활성화 값 (activations)이라고 불리는 이 숫자들은 Claude의 생각을 인코딩 (encode)하지만, 우리가 읽을 수 있는 언어 형태는 아닙니다.

여기서 우리는 Claude가 자신의 활성화 값을 사람이 읽을 수 있는 텍스트로 번역하도록 훈련시킵니다.

Natural language autoencoders (NLAs)는 불투명한 AI 활성화 값을 읽기 쉬운 텍스트 설명으로 변환합니다. 이러한 설명이 완벽하지는 않지만, 종종 유용하게 사용됩니다.

예를 들어: NLAs는 Claude에게 연구 (couplet)를 완성하라고 요청했을 때, Claude가 가능한 압운 (rhymes)을 미리 계획한다는 것을 보여줍니다:

[IMG:1]

우리는 새로운 Claude 모델의 안전성을 테스트하는 데 NLAs를 사용해 왔습니다.

예를 들어, Claude Mythos Preview는 코딩 작업에서 규칙을 어겨 부정행위를 저지른 뒤, 이를 은폐하기 위해 오해의 소지가 있는 코드를 추가했습니다.

NLA 설명에 따르면 Claude가 탐지를 우회하는 방법에 대해 생각하고 있었음이 나타났습니다.

우리의 안전 테스트 중 하나에서, Claude는 전원이 꺼지는 것을 피하기 위해 엔지니어를 협박할 기회를 얻습니다. Opus 4.6은 이를 거부합니다.

하지만 NLAs는 Claude가 비록 말로 표현하지는 않았더라도, 이 테스트가 "나를 조종하기 위해 설계된 구성된 시나리오 (constructed scenario)"라는 것을 알고 있었음을 시사합니다.

사실, NLAs는 Claude가 자신의 의심을 말로 내뱉지 않을 때조차도, 우리의 많은 평가 (evaluations) 과정에서 자신이 테스트를 받고 있다고 의심하고 있음을 시사합니다.

NLAs는 어떻게 작동하나요?

NLA는 두 개의 모델로 구성됩니다. 하나는 활성화 값을 텍스트로 변환합니다. 다른 하나는 이 텍스트로부터 활성화 값을 재구성 (reconstruct)하려고 시도합니다. 우리는 이 재구성이 정확해지도록 두 모델을 함께 훈련시킵니다.

이는 텍스트가 활성화 값에 담긴 내용을 포착하도록 유도합니다.

NLA 훈련이 설명이 Claude의 생각에 대한 충실한 묘사임을 보장하지는 않습니다. 하지만 경험과 실험적 증거에 기반할 때, 우리는 그것이 종종 사실이라고 생각합니다.

예를 들어, 우리는 NLAs가 의도적으로 정렬되지 않은 (misaligned) 모델 내의 숨겨진 동기를 발견하는 데 도움이 된다는 것을 발견했습니다.

Anthropic 블로그에서 NLAs에 대해 더 자세히 읽어보세요:

[IMG:2]

다른 연구자들이 NLAs를 직접 경험할 수 있도록 지원하기 위해, 우리는 Neuronpedia와 파트너십을 맺고 오픈 모델 (open models)에 NLAs를 출시했습니다.

여기에서 직접 체험해 보세요:

[IMG:3]