사후 훈련은 대규모 언어 모델을 인간과 유사하지 않게 만든다

요약

본 논문은 대규모 언어 모델(LLMs)이 인간의 행동을 얼마나 잘 모방하는지 측정할 수 있는 새로운 데이터셋 Psych-201을 소개한다. 연구 결과, LLM을 유용한 비서로 만들기 위해 수행되는 사후 훈련 과정 자체가 모델의 인간 행동 정렬도를 지속적으로 떨어뜨리는 것으로 나타났다. 또한, 개인별 정보로 모델을 조건화하는 페르소나 유도 기법 역시 개인 수준의 예측 정확도를 개선하지 못한다는 사실이 밝혀졌다.

핵심 포인트

• 새로운 데이터셋 Psych-201을 통해 LLM의 행동 정렬(behavioral alignment) 측정 가능
• 사후 훈련(post-training) 과정은 모델의 인간 행동과의 정렬도를 지속적으로 감소시킨다.
• 이러한 불일치(misalignment) 현상은 새로운 세대의 모델에서 더욱 심화된다.
• 페르소나 유도(persona-induction) 기술은 개인 수준의 예측 정확도를 개선하지 못한다.