두 네트워크가 같다는 것은 언제인가? 기계론적 해석 가능성 (Mechanistic Interpretability)을 위한 텐서 유사도

요약

본 기사는 모델의 의미 있는 부분들을 분해하여 두 부분이 동일한 계산을 구현하는지 확인하는 '기계론적 해석 가능성(Mechanistic interpretability)' 분야를 다룹니다. 기존 유사도 측정 방식이 가진 한계를 극복하기 위해, 대칭성에 불변하며 전역적인 기능적 동등성을 포착할 수 있는 새로운 지표인 '텐서 유사도(tensor similarity)'를 제안합니다. 이 텐서 유사도는 복잡한 훈련 역학을 높은 충실도로 추적하여 해석 가능성 문제를 경험적 근사에서 대수적 문제로 전환하는 것을 목표로 합니다.

핵심 포인트

• 기계론적 해석 가능성은 모델을 의미 있는 부분으로 분해하고, 이들이 동일한 계산을 구현하는지 확인하는 것이 핵심입니다.
• 기존 유사도 측정 방식은 분포 외 메커니즘 포착 실패나 가중치 공간의 대칭성 무시 등의 한계를 가집니다.
• 새롭게 제안된 '텐서 유사도'는 이러한 문제들을 해결하며, 대칭성에 불변한 가중치 기반 지표입니다.
• 이 텐서 유사도는 전역적 기능적 동등성을 포착하고, 재귀 알고리즘을 통해 계층 간 메커니즘 설명에 활용됩니다.
• 이를 통해 해석 가능성 검증 문제가 경험적 근사에서 해결된 대수적 문제로 전환될 수 있습니다.