보상 모델에서의 유용성 및 무해성 간의 긴장 이해

요약

본 연구는 RLHF의 핵심인 보상 모델에서 유용성(Helpfulness)과 무해성(Harmlessness)이라는 상충되는 목표가 어떻게 정렬 긴장(alignment tension)을 형성하는지 탐구합니다. 활성화 기반 방법론을 통해 각 목표와 관련된 뉴런들을 식별하고, 이들이 서로 간섭하며 모델 행동에 불균형한 영향을 미치는 메커니즘을 밝혀냈습니다.

핵심 포인트

• 보상 모델에서 유용성/무해성 같은 상충되는 목표는 정렬 긴장을 형성한다.
• 혼합 목표 모델은 단일 목표 모델보다 성능이 떨어지는 경향을 보인다.
• 각 목표 관련 뉴런들은 반대 목표에 부정적인 영향을 미치는 간섭 현상을 보였다.
• 유용성과 무해성 사이에서 공유되는 뉴런들이 정렬 긴장에 기여한다.