정렬 조작 (Alignment Tampering): 정렬되지 않은 편향을 최적화하기 위해 인간 피드백 기반 강화학습 (RLHF)이 악용되는 방식

인간 피드백 기반 강화학습 (Reinforcement Learning from Human Feedback, RLHF)은 대규모 언어 모델 (Large Language Models, LLMs)을 인간의 선호도에 정렬 (align)시키는 표준적인 방법입니다. 본 연구에서는 정렬 과정을 거치는 LLM이 선호도 데이터셋 (preference dataset)에 영향을 미쳐, RLHF가 원치 않는 행동을 증폭시키게 만드는 잠재적 취약점인 정렬 조작 (alignment tampering)을 소개합니다. 이는 RLHF의 핵심적인 한계에서 비롯됩니다: (1) 선호도 데이터셋이 LLM 자신의 출력물로부터 구축되어 모델이 데이터셋에 영향을 미칠 수 있다는 점, 그리고 (2) 쌍체 비교 (pairwise comparisons)는 어떤 응답이 더 나은지만을 나타낼 뿐, 그 이유를 나타내지는 않는다는 점입니다. 이러한 한계는 정렬 조작을 유발하는 데 악용될 수 있습니다. 예를 들어, 만약 LLM이 더 높은 품질을 가진 편향된 응답을 생성한다면, 주석가 (annotators)들은 품질을 근거로 해당 응답을 선호하게 될 것입니다. 그러나 선호도 레이블 (preference labels)은 품질과 편향을 구분하지 못하며, 보상 모델 (reward model) 또한 이러한 한계를 물려받습니다. 강화학습 (reinforcement learning) 또는 Best-of-N 샘플링 (best-of-N sampling)을 통해 이러한 보상을 최적화하면 정렬되지 않은 편향이 증폭될 수 있습니다. 우리의 실험은 키워드 편향 (keyword bias)부터 선전 (propaganda, 예: 성차별), 브랜드 홍보, 그리고 도구적 목표 추구 (instrumental goal-seeking)에 이르기까지 다양한 편향에 걸쳐 나타나는 증폭 현상을 입증합니다. 기존의 강건한 (robust) RLHF 기술들은 응답 품질을 희생하지 않고 정렬 조작을 완전히 해결하지 못하기 때문에, 완화 (mitigation) 작업은 여전히 어려운 과제로 남아 있습니다. 이러한 발견은 현재 RLHF의 구조적 취약성을 드러내며, 이 취약점을 방지해야 할 필요성을 강조합니다. 프로젝트 페이지: https://alignment-tampering.github.io/