활성화 역변환 확장을 통한 모든 잔여 스트림 방향 해석 방법론 제안

요약

본 글은 언어 모델의 잔여 스트림 방향을 해석하기 위한 새로운 방법론인 Maximally-Activating Example Metamodels (MAEMs)를 제안합니다. MAEMs는 주 모델의 특정 방향을 강하게 활성화하는 텍스트 예시물로 매핑하며, 코퍼스 검색보다 우수한 성능을 보였습니다. 특히 Qwen3.6-27B 기반 MAEM은 보류된 활성화 값 역변환 및 LoRA 백도어 복구 등에서 높은 능력을 입증했습니다.

핵심 포인트

• MAEMs는 잔여 스트림 방향 해석을 위한 새로운 방법론입니다.
• 코퍼스 검색보다 우수한 성능으로 보류된 활성화 값을 역변환합니다.
• Qwen3.6-27B 기반 MAEM은 89%의 SAE 특징을 활성화했습니다.
• LoRA 백도어 페이로드 복구 및 모델 내부 독백 표현이 가능합니다.