다중 매개변수의 저주: 활성화 패칭(Activation Patching)에서의 숨겨진 상호작용 효과

요약

활성화 패칭(Activation Patching) 과정에서 발생하는 상호작용 효과(Interaction Effects)의 존재를 규명합니다. NIE가 구성 요소 간의 의존성을 포함하고 있음을 증명하며, 이를 통해 기존 해석 가능성 연구의 불안정성을 설명합니다.

핵심 포인트

• 활성화 패칭의 NIE에는 구성 요소 간 상호작용 효과(INT)가 포함됨
• INT는 기존 충실도 점수(Faithfulness Scores)의 불안정성을 유발함
• INT는 모델이 국소적으로 아핀(Locally Affine)할 때 무시 가능함
• INT는 제거 대상이 아닌 해석 가능성 연구를 위한 진단 도구로 활용 가능