중립적 마스크: RLHF가 대규모 언어 모델(LLM)에서 당파적 구조를 유지한 채 어떻게 얕은 정렬(Shallow Alignment)을

요약

RLHF가 LLM의 내부 당파적 구조를 제거하는 것이 아니라, 출력 단계에서 인과적 경로를 차단하여 기능적 중립성만을 구현한다는 연구입니다. Llama 3.1 8B를 통해 RLHF가 깊은 정렬 대신 얕은 정렬(Shallow Alignment)을 생성함을 기계론적으로 증명했습니다.

핵심 포인트

• RLHF는 모델의 당파적 지식을 지우지 않고 출력 경로만 차단함
• 중립성은 구조적 정렬이 아닌 기능적 준수에 불과함
• SAE 분석 결과 베이스 모델의 정책 특징이 Instruct 모델에서 비활성화됨을 확인
• 기저의 당파적 기하학이 남아있어 가드레일 우회 및 재활성화 가능