MET: 이론 기반 및 문화 인식 다국어 도덕 추론
요약
본 논문은 언어 모델의 다국어적이고 문화적인 도덕 추론 능력을 향상시키는 방법을 제시합니다. MCLASH라는 새로운 벤치마크를 소개하고, 심리학 및 철학 기반의 이론적 근거(grounds)를 활용하는 MET 프롬프팅 기법을 제안했습니다. 또한 자체 증류(self-distillation) 방법인 MET-D를 통해 모델 성능을 개선하여 문화 정렬된 다국어 도덕 추론에 기여합니다.
핵심 포인트
- MCLASH: 문화적 맥락을 포착하는 다국어 도덕 벤치마크 제시
- MET (Multilingual Ethics with Theory-grounded reasoning): 이론 기반의 2단계 프롬프팅 방법론 제안
- MET-D (Distillation): 외부 감독 없이 모델 성능을 향상시키는 자체 증류 기법 도입
- 실제 테스트에서 Qwen3 및 Gemma 등 여러 모델의 다국어 추론 능력을 크게 개선함
언어 모델은 다양한 언어적, 문화적 맥락에서 도덕적 의사결정(moral decision-making)에 점점 더 많이 사용되고 있지만, 기존 연구는 세 가지 측면에서 다국어성을 간과하고 있습니다. 1) 다국어 평가 벤치마크가 직접 번역을 사용해 문화별 항목에 적응하지 못합니다. 2) 도덕 추론을 위한 추론 시간(inference-time) 방법은 정적이고 영어 중심의 스캐폴드(scaffolds)에 의존하며 도덕 이론에 근거하지 않습니다. 3) 도덕적 의사결정을 위한 훈련 방법은 일반적으로 더 강력한 모델이나 인간 주석가로부터 값비싼 감독(supervision)을 필요로 합니다. 우리는 이 격차들을 세 가지 기여를 통해 해결합니다. 첫째, 언어 전반에 걸친 문화적으로 위치 지어진 도덕적 직관과 사회 규범을 포착하기 위한 다국어 도덕 의사결정 벤치마크인 MCLASH를 소개합니다. 둘째, 우리는 심리학 및 철학에서 가져온 전문가가 선별한 이론 기반의 근거(grounds)에 구축된 2단계 프롬프팅 방법인 MET (Multilingual Ethics with Theory-grounded reasoning)을 제안합니다: 모델은 먼저 상황 및 문화 특정적인 근거를 선택하고, 그런 다음 사용자 모국어에서 그 근거들에 대해 추론합니다. 셋째, 우리는 외부 감독이 필요 없는 자체 증류(self-distillation) 훈련 단계를 통해 두 번째 단계를 향상시키는 MET-D (MET-Distillation)를 소개합니다. MET-D는 모든 크기와 계열의 세 가지 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B)에서 MCLASH와 MMoralExceptQA의 세 가지 모델에 걸쳐 평균 3.71점 및 4.23점으로 macro-F1을 개선합니다. 특히 Qwen3-8B를 사용한 말레이어(Malay)의 경우 MCLASH에서 최고 12.94점의 향상을 보였습니다. 우리는 또한 MET-D가 평균적으로 모국어 추론 능력을 62.13점 증가시키고, 유익한 근거들이 문화에 따라 체계적으로 다르다는 것을 밝혀냈습니다. 종합적으로, 이러한 기여들은 문화 정렬되고 이론 기반의 다국어 도덕 추론을 위한 길을 열어줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기