Gemma Scope 2 공개: LLM 내부 작동 원리 분석 도구

요약

DeepMind가 모든 Gemma 3 모델 크기(270M~27B)를 지원하는 포괄적인 해석 가능성(Interpretability) 도구 모음인 'Gemma Scope 2'를 공개했습니다. 이 도구는 LLM의 내부 결정 과정을 투명하게 분석하여, 시스템이 예상대로 작동하지 않을 때 그 원인을 정확히 파악할 수 있게 합니다. Gemma Scope 2는 Sparse Autoencoders (SAEs)와 transcoders를 결합하여 모델의 '사고 과정'을 들여다보게 하며, 해킹(jailbreaks), 환각(hallucinations)과

핵심 포인트

• Gemma Scope 2는 Gemma 3 계열 전체(270M~27B)를 지원하는 포괄적인 해석 가능성 도구 세트입니다.
• 이 도구는 SAEs와 transcoders를 활용하여 LLM의 내부 작동 원리와 사고 과정을 분석할 수 있게 합니다.
• 주요 기능으로는 모델 환각, 보안 취약점(jailbreaks) 등 복잡한 AI 행동을 심층적으로 연구하는 것이 포함됩니다.
• Matryoshka 훈련 기법과 같은 최신 기술이 적용되어 다단계 계산 및 알고리즘 분석이 용이해졌습니다.