취약성(Susceptibilities)을 이용한 강화학습 에이전트 해석

요약

본 기사는 신경망 해석 가능성 기법인 '취약성(Susceptibilities)'을 심층 강화학습(DRL) 분야의 후회(regret) 설정으로 확장하여 그 유용성을 탐구한다. 취약성은 관찰 가능한 값의 사후 기대값이 손실에 대한 섭동에 어떻게 반응하는지를 측정하며, 이를 통해 학습된 정책이 발전하는 과정에서 발생하는 내부적인 모델 특징들을 밝혀낼 수 있다. 연구진은 활성화 스티어링(activation-steering)을 사용하여 이 결과를 검증하고, RLHF 후 훈련에 적용할 프레임워크 확장을 논의한다.

핵심 포인트

• 취약성(Susceptibilities)은 신경망 해석 가능성을 측정하는 기법으로, 손실 함수에 대한 섭동 반응을 분석한다.
• 이 기법을 강화학습의 후회(regret) 설정으로 일반화하여 적용함으로써 새로운 통찰력을 얻는다.
• 취약성은 단순히 정책 발전만을 보는 것이 아니라, 매개변수 공간 내 모델 발전의 내부 특징들을 드러내는 데 유용하다.
• 활성화 스티어링을 통해 취약성의 효과를 검증하고, RLHF 후 훈련에 적용할 수 있는 프레임워크 확장을 제시한다.