Anthropic이 Claude가 말하기 전에 생각하는 것을 읽는 도구를 오픈 소스화했습니다

요약

Anthropic이 모델의 내부 개념을 파악할 수 있는 오픈 소스 도구인 jacobian lens(j-lens)를 공개했습니다. 이 도구는 저렴한 비용으로 모델의 내부 방향(j-space)을 읽어내어 모델의 의도를 더 정확히 해석할 수 있게 돕습니다.

핵심 포인트

• j-lens는 레이어당 한 번의 행렬 곱셈으로 작동하여 매우 효율적임
• 희소 자동 인코더(SAE)의 높은 훈련 비용 문제를 해결하는 대안
• Qwen 등 HuggingFace의 오픈 웨이트 모델에서 즉시 사용 가능
• 모델의 내부 활동을 어휘 토큰으로 디코딩하여 해석 가능성 제공