탐지 vs 실행: 단일 버킷 프로브(Single-Bucket Probes)는 Mamba-2 상태 싱크(State Sink)의 절반을 놓친다

요약

Mamba-2 모델의 상태 싱크(state sink) 현상을 분석하여, 단일 버킷 프로브가 실제 계산을 수행하는 회로를 정확히 식별하지 못한다는 점을 밝혀냈습니다. 표현적 유사성이 반드시 기능적 동등성을 의미하지 않음을 입증하며, 회로 분석 시 어블레이션의 중요성을 강조합니다.

핵심 포인트

• 단일 버킷 프로브는 실행 레이어만 복구하고 더 큰 탐지 레이어를 놓칠 수 있음
• Mamba-2의 상태 싱크는 BOS-전문가 헤드와 듀얼 헤드로 구분됨
• 표현 유사성이 반드시 인과적 기능(실행)을 보장하지 않음
• 정확한 회로 식별을 위해 클래스 조건부 어블레이션이 필요함