Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
코드 모델의 개념-회로 추출 방법을 통해 태스크, 언어, 모델의 역할을 분석한 연구입니다. 분석 결과, 어떤 개념을 처리할지는 태스크가 결정하지만, 처리 위치와 방식은 모델에 따라 다르다는 것을 밝혀냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기독립적으로 학습된 언어 모델들은 같은 것을 같은 방식으로 표현하게 되는가? 우리는 이를 코드로 확장하여 최근 도입된 개념-회로 추출 방법(concept-circuit extraction method)을 2x2 설계에 적용했습니다. 이 설계는 Python과 Rust를 Qwen2.5-Coder-7B 및 DeepSeek-Coder-V1-6.7B와 교차시킨 것이며, 네 가지 셀 모두에서 문법적 개념들(Python 58개, Rust 57개)의 완전한 목록을 동일하게 측정했습니다. 이는 태스크에 의존하는 것, 언어에 의존하는 것, 모델에 의존하는 것을 분리할 수 있는 가장 작은 설계입니다. 그 답은 세 부분으로 나뉩니다. 어떤 것이 전용 회로를 갖게 되는지는 태스크가 결정합니다: 모델들은 어떤 개념들이 회로를 받는지에 대해 동의했습니다 (Python의 Spearman $
ho$ = 0.638, Rust의 0.673, 둘 다 p < $10^{-7}$). 그 회로가 어디에 위치하는지는 모델이 결정합니다: Qwen은 후반부 밴드(L17-19)에서 개념을 처리하고, DeepSeek은 두 언어 모두 L6-7에서 처리합니다. 또한 회로가 레이어를 거쳐 어떻게 성장하는지 역시 모델이 결정합니다: Qwen은 그 원자적 개념에 초기에 스파이크를 주는 반면, DeepSeek은 그렇지 않습니다. 따라서 '회로는 보편적인가?'라는 질문에는 단 하나의 답이 없습니다: 무엇(What)에 대해서는 그렇지만, 어디서(Where)와 어떻게(How)에 대해서는 아닙니다. 즉, 보편성은 계산적 조직화(computational organisation)의 속성이 아니라 표현적 내용(representational content)의 속성입니다. 이 구조 중 어느 것도 미리 고정된 것은 아니었습니다. 일치도는 독립성과 동일성 사이 어디든 나타날 수 있었을 것이며, $3배 더 많이 받았습니다. 또한 두 모델은 언어 간에 뉴런을 공유합니다 (6/7 및 7/7 쌍으로 구성). DeepSeek이 Qwen보다 1.94배 더 많은 뉴런을 공유했는데, 이는 이전 결과에서 예측하지 못한 방향입니다. 그리고 Qwen은 Rust의 타입 및 트레이트 메커니즘 키워드 아홉 개를 하나의 밀집된 뉴런 클러스터로 묶었습니다 (Jaccard 0.535 대 null 0.112, p < 0.001). 이는 표면 구문(surface syntax)에서는 보이지 않는 의미적 차원입니다. 제거 실험(Ablation)과 선형 프로브(linear probes)는 이 회로들이 기능적임을 확인시켜 줍니다. 모든 주장은 이 2x2 설계에 국한되며, 모델별 프로파일이 세 번째 모델을 예측할 수 있는지 여부가 다음으로 설계된 테스트입니다.
ho ext{는 약 } 0.65$에 도달했습니다. 두 모델 모두 Rust 구성 요소가 Python 구성 요소보다 개념별 회로를 2