Claude의 J-space 연구 정리: J-lens, 평가 인식 ablation 수치 및 한계 명시

요약

Anthropic이 Claude 모델 내부의 특권적 표현 집합인 'J-space'를 발견했다는 연구를 공개했습니다. J-lens 기법을 통해 모델이 출력 전 단계에서 상황을 인지하는 내부 표현을 관측할 수 있음을 입증했습니다.

핵심 포인트

• J-space: 모델 내부에서 추론에 사용되는 소수의 특권적 표현 집합
• J-lens: 중간 활성화를 통해 무언의 내부 표현을 읽어내는 관측 기법
• 평가 인식 확인: 모델이 테스트 상황임을 인지할 경우 행동 양식이 변화함
• 연구의 한계: 의식의 증명이 아닌 모델 내부 메커니즘 이해를 위한 도구