Qwen-Scope ile SAE 모델들로부터 SAE-Res-Qwen3.5-27B-W80K-L0_50와 W80K-L0_100을 사용하여 SFT

요약

본 기술 기사는 Qwen-Scope라는 도구를 사용하여 SAE(Sparse Autoencoder) 모델로부터 파생된 특정 대규모 언어 모델(LLM) 버전들(SAE-Res-Qwen3.5-27B-W80K-L0_50 및 W80K-L0_100)을 대상으로 SFT(Supervised Fine-Tuning) 훈련 데이터셋에 대한 심층적인 분석 계획을 설명합니다. 구체적으로, 전체 데이터셋 행에 대해 선택된 레이어들에서 활성화 지문(activation fingerprint)을 추출하고, 이를 기반으로 클러스터링, 이상치 탐지 및 커버리지 분석을 수행할 예정입니다.

핵심 포인트

• Qwen-Scope 도구를 활용하여 SAE 모델 기반의 LLM들을 분석합니다.
• 분석 대상은 SFT 훈련 데이터셋에 사용된 특정 대규모 언어 모델 버전들입니다.
• 핵심 분석 방법론은 선택된 레이어에서 활성화 지문(activation fingerprint)을 추출하는 것입니다.
• 수행될 분석 작업에는 클러스터/이상치/커버리지 분석이 포함됩니다.