E-TCAV: 효율적인 개념 기반 해석 가능성을 위한 마지막 근사치 공식화

TCAV (Testing with Concept Activation Vectors)는 훈련된 신경망의 내부 표현과 인간이 이해할 수 있는 고수준 개념 간의 정렬을 평가하는 해석 가능성 방법입니다. 효과적임에도 불구하고, TCAV는 상당한 계산 오버헤드, TCAV 점수의 레이어 간 불일치(inter-layer disagreement), 그리고 통계적 불안정성(statistical instability) 문제를 안고 있습니다. 본 연구는 이러한 문제들을 해결하기 위한 단계로, E-TCAV를 도입합니다. E-TCAV는 TCAV 점수를 효율적으로 근사화하는 프레임워크이며, 이는 TCAV 방법론의 세 가지 핵심 측면에 대한 광범위한 조사를 기반으로 합니다: 1) 잠재 분류기(latent classifiers)가 TCAV 점수의 안정성에 미치는 영향, 2) TCAV 점수의 레이어 간 일치성(inter-layer agreement), 그리고 3) TCAV 계산을 위해 마지막 근사치(penultimate layer)를 초기 레이어의 빠른 대리 변수(fast proxy)로 사용하는 것입니다. E-TCAV에 견고한 기반을 마련하기 위해, 우리는 컴퓨터 비전과 자연어 영역의 문제를 포괄하는 네 가지 다른 아키텍처와 다섯 개의 데이터셋에 걸쳐 광범위한 평가를 수행합니다. 우리의 결과는 신경망의 최종 블록 레이어가 TCAV 점수 측면에서 마지막 근사치 레이어와 강하게 일치하며, 일반적으로 관찰되는 TCAV 점수의 분산은 잠재 분류기의 선택에 기인할 수 있음을 보여줍니다.

이러한 레이어 간의 일치와 마지막 전(penultimate) 레이어에서의 방향성 민감도(directional sensitivities)의 퇴화(degeneracy)를 활용하여, E-TCAV는 네트워크 크기 및 평가 샘플 수에 대해 선형적으로 확장되는 속도 향상을 보장하며, 이는 효율적인 모델 디버깅과 실시간 개념 기반 훈련을 위한 단계적 진전을 의미합니다.