LayerTracer: 범용 LLM 아키텍처 분석 프레임워크

요약

본 논문은 기존 트랜스포머(Transformer), Mamba 등 다양한 구조를 가진 대규모 언어 모델(LLM)의 아키텍처적 한계를 극복하기 위해 'LayerTracer'라는 범용 분석 프레임워크를 제안합니다. LayerTracer는 모델의 은닉 상태(hidden states)를 레이어별로 추출하고 이를 어휘 확률 분포에 매핑하여 두 가지 핵심 요소를 동시에 분석합니다. 첫째, **태스크 입자(task particle)**는 목표 토큰 확률이 급격히 상승하는 최초의 레이어를 찾아 모델의 작업 시작점을 파악합니다. 둘째, **취약층(

핵심 포인트

• LayerTracer는 트랜스포머와 Mamba 등 모든 LLM 아키텍처에 적용 가능한 범용 분석 도구입니다.
• 태스크 입자(task particle)를 통해 모델이 특정 작업을 시작하는 핵심 레이어를 식별할 수 있습니다.
• 취약층(vulnerable layer)을 정의하여 마스크 교란에 대한 각 레이어의 민감도를 정량적으로 측정합니다.
• 분석 결과, 태스크 입자는 파라미터 크기와 무관하게 깊은 레이어에서 나타나며, 큰 모델일수록 계층적 강건성(hierarchical robustness)이 높음을 확인했습니다.