좋은 사과를 버킷팅: 신경망 해석의 진단 및 개선 방법

요약

이 논문은 신경망 해석을 진단하고 개선하기 위한 새로운 프레임워크를 제안합니다. 핵심 방법론은 '교차 개입(interchange intervention)'을 활용하여 입력 하위 공간을 분석하는 것입니다. 기존의 전역적 평가 방식에서 벗어나, 이 방법은 모델이 잘 작동하는 영역과 실패하는 영역을 세밀하게 분할함으로써 해석 가능성을 진단 도구로 전환합니다. 나아가, 이러한 진단적 구조 분석을 통해 고수준 가설에 누락된 변수를 식별하고, 부분적인 해석들을 결합하여 더 강력하고 포괄적인 해석으로 개선할 수 있는 실용적인 방법론까지 제시합니다.

핵심 포인트

• 신경망 해석을 전역 평가가 아닌 진단적 도구로 접근하는 새로운 프레임워크를 제안함.
• 교차 개입(interchange intervention)을 사용하여 입력 공간을 '잘 해석된 영역'과 '불충분히 해석된 영역'으로 정밀하게 분할함.
• 진단 결과를 바탕으로 고수준 가설에서 누락된 변수를 식별하고, 부분적 해석들을 결합하여 전체적인 해석의 정확도를 높일 수 있음.
• 제안된 4단계 레시피는 다양한 인과 추상화 설정에 걸쳐 풍부한 오류 분석을 제공하며, 심지어 고수준 가설 자체를 복원하는 데 사용될 수 있음.