페르소나 불일치 기반의 대규모 언어 모델 문화적 정렬 훈련 방식

요약

본 연구는 LLM의 문화적 정렬 문제를 해결하기 위해 DISCA(Disagreement-Informed Steering for Cultural Alignment)라는 새로운 추론 시간 방법을 제안합니다. 기존 방법들이 높은 비용이나 내부 구조 접근을 요구했던 것과 달리, DISCA는 국가별 페르소나 에이전트 패널 간의 '불일치'를 핵심 조향 신호로 활용하여 모델의 문화적 편향성을 보정합니다. 이 방법은 가중치 변경 없이도 다양한 규모와 수의 오픈 가중치 LLM에서 효과적으로 문화적 불일치를 감소시키는 것으로 입증되었습니다.

핵심 포인트

• LLM의 문화적 정렬은 기존 방식처럼 국가별 데이터나 화이트박스 접근을 요구하지 않는 새로운 방법론이 필요합니다.
• DISCA는 World-Values-Survey 기반 페르소나 에이전트 패널 간의 '불일치'를 활용하여 모델을 조정하는 추론 시간(inference-time) 기법입니다.
• 이 방법은 가중치를 변경할 필요가 없어 블랙박스 환경에서 적용 가능하며, 다양한 오픈 가중치 LLM에 확장성이 높습니다.
• 실험 결과, DISCA는 여러 백본 모델에서 문화적 불일치를 유의미하게 감소시키는 것으로 나타났습니다.