You can now read Gemma 3's mind

요약

Anthropic은 'Natural Language Autoencoders (NLA)'라는 새로운 연구를 발표하며, 대규모 언어 모델(LLM)이 다음 토큰을 생성할 때 내부적으로 어떤 생각을 했는지 보여주는 방법을 제시했습니다. 이 기술은 LLM의 내부 활성화 값을 사람이 읽기 쉬운 텍스트로 번역하는 'Auto Verbalizer (AV)'와 그 역변환을 검증하는 'Activation Reconstructor (AR)' 모델 가중치 형태로 제공됩니다. 사용자는 Neuronpedia 플랫폼을 통해 Gemma 3에 질문하고, 특정 토큰의 생성 과정에서 모델이 어떤 내부적인 추론 과정을 거쳤는지 확인할 수 있습니다.

핵심 포인트

• Anthropic은 NLA(Natural Language Autoencoders)를 사용하여 LLM의 내부 사고 과정을 가시화하는 방법을 개발했습니다.
• 제공된 모델에는 활성화 값을 텍스트로 번역하는 'Auto Verbalizer (AV)'와 그 역변환을 검증하는 'Activation Reconstructor (AR)'가 포함됩니다.
• 사용자는 Neuronpedia 플랫폼에서 Gemma 3에 질문하고, 특정 토큰의 생성 시점에서의 모델 내부 추론 과정을 확인할 수 있습니다.
• 이 기술은 LLM의 투명성과 해석 가능성(Interpretability)을 높이는 데 기여합니다.