Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
언어 모델의 뉴런 기여도 점수가 인과적으로 중요한 행을 실제로 식별하는지 검증하는 연구입니다. 원샷 뉴런 제로화 방식을 통해 기여도 기반 방법이 모델의 유창성을 유지하면서도 유해한 요청에 대한 거절 메커니즘을 효과적으로 제어할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기기여도 점수(Attribution scores)는 가지치기(pruning), 해석 가능성(interpretability), 그리고 안전을 위한 편집(editing)과 같은 애플리케이션에서 언어 모델의 어떤 뉴런 행(neuron rows)이 중요한지를 점점 더 잘 식별하고 있지만, 이것이 인과적으로 중요한 행을 식별하는지는 직접적으로 테스트되는 경우가 드뭅니다. 우리는 원샷 뉴런 행 제로화(one-shot neuron-row zeroing)를 기반으로 구축된 두 가지 쌍을 이룬 감사(audits)를 통해 이 문제를 다룹니다. 먼저 우리는 언어 모델링(language-modeling) 수준에서 선택기(selectors)를 감사합니다. 기여도 기반 방법(attribution methods)은 5개의 LLM에 걸쳐 불필요한 행을 식별하는 데 있어 활성화(activation) 및 크기 기반(magnitude-based) 베이스라인보다 실질적으로 우수한 성능을 보였습니다. 그런 다음 우리는 동일한 개입(intervention)을 대조적인 유해(harmful) 대 양성(benign) 신호로 구동하여 행동 테스트로 변형합니다. 기여된 행들은 혐오 및 범죄에 대한 거절(refusal)을 설치하기에 충분하면서도, 양성 사례에 대한 과잉 거절(over-refusal)을 낮게 유지하고 언어 모델의 유창성(fluency)을 보존하며, 동일한 깊이의 레이어 매칭 무작위 대조군(layer-matched random controls)이 실패한다는 점에서 구체적입니다. 순위 안정성(rank-stable)이 높은 선택기들이 인과적으로 가장 타당성이 낮을 수 있습니다. 더욱이 거절은 중복된 부분 공간(redundant subspace)에 존재하며, 여기서 서로 다른 기여도 방법들은 대체로 서로 분리된 행 집합을 통해 이를 설치합니다. 따라서 복구된 편집은 고유한 메커니즘이라기보다 충분한 집합의 하나의 실현(realization)입니다. 종합하면, 이러한 발견은 순위 안정성 프록시(rank-stability proxies)가 직접적인 인과적 감사(causal audit)를 통해 드러낼 수 있는 선택기 실패 유형을 놓치고 있음을 보여줍니다.