Don't Lose Focus: Activation Steering via Key-Orthogonal Projections

요약

본 논문은 LLM의 행동 제어 기법인 Activation Steering이 종종 추론 및 검색 성능 저하를 초래하는 문제를 다룹니다. 연구진은 이 문제의 원인을 주의 재분배(attention rerouting)로 진단하고, 이를 해결하기 위해 Key-Orthogonal Projections (SKOP)이라는 새로운 방법을 제안합니다. SKOP는 중요한 'focus tokens'의 어텐션 패턴을 보존하면서 덜 중요한 'tail tokens' 간의 재분배만 허용하여, 성능 저하를 크게 줄이면서도 효과적인 행동 제어를 가능하게 합니다.

핵심 포인트

• Activation Steering은 LLM의 목표 행동 제어에 유용하지만, 주의 재분배(attention rerouting)로 인해 성능 저하가 발생한다.
• 제안된 SKOP (Steering via Key-Orthogonal Projections)는 핵심 토큰의 어텐션 패턴을 유지하면서 덜 중요한 토큰 간의 재분배만 허용하는 방식으로 작동한다.
• SKOP는 기존 방식 대비 유틸리티 저하를 5~7배 줄이면서도, 원래의 제어 효과(efficacy)의 95% 이상을 유지하여 최적의 성능 균형점을 제공한다.
• 특히 긴 컨텍스트 검색 환경에서 SKOP는 주의 재분배를 회피함으로써 기존 방식보다 더 견고한 성능을 보여준다.