언어 모델 해석 가능성을 위한 데이터 기반 회로 발견

요약

본 기사는 언어 모델(LM)의 동작을 해석하기 위한 '회로 발견' 방법론의 한계를 지적합니다. 기존 방식은 작업이 단일 회로로 구현된다는 강력한 가정을 전제하고, 데이터셋이 인간의 의미를 완벽히 대표한다고 가정합니다. 연구진이 제안하는 DCD(Data-driven Circuit Discovery)는 이러한 가설 기반 접근 방식을 탈피하여, 데이터가 LM 내부 메커니즘적 구조 자체를 드러내도록 함으로써 모델 해석의 정확성과 포괄성을 높입니다.

핵심 포인트

• 회로 발견은 언어 모델이 특정 작업을 수행하는 계산 서브그래프(회로)를 찾아 설명하는 것을 목표로 합니다.
• 기존 회로 발견 방법론은 '단일 회로' 가정과 데이터셋의 완벽한 의미적 대표성이라는 두 가지 강력한 가정을 전제합니다.
• DCD는 이러한 가설 기반 접근을 개선하여, 작업 경계에 의존하기보다 데이터가 LM 내부 메커니즘 구조를 직접 드러내도록 합니다.
• 실험 결과, DCD는 하나의 작업을 설명하는 단일 회로 대신 여러 개의 개별적이고 더 충실한 회로들을 발견합니다.