독자가 아닌 모델을 학습시켜라: 검증 가능한 활성화 설명(Activation Explanations)을 위한 디코더빌리티

요약

기존 자연어 오토인코더 방식의 활성화 설명 평가가 모델의 실제 사실 관계를 반영하지 못하는 문제를 지적합니다. 이를 해결하기 위해 모델과 함께 학습되는 선형 헤드인 RECAP을 제안하여, 모델의 내부 콘텐츠를 독립적이고 신뢰할 수 있게 디코딩할 수 있음을 증명합니다.

핵심 포인트

• 기존 재구성 기반 평가 방식은 구체적 사실이 아닌 요지만 추적하는 한계가 있음
• 공동 적응된 사적 코드로 인해 설명의 충실성이 왜곡될 수 있음
• RECAP 프로토콜을 통해 모델의 내부 상태를 독립적으로 검증 가능
• 적대적 공격 상황에서도 RECAP 프로브는 높은 거짓말 감지 성능을 유지함