무해한 다국어 미세 조정(Fine-Tuning)의 이질적인 안전성 영향

대규모 언어 모델(Large Language Model, LLM)을 미세 조정(Fine-tuning)하는 것은 특정 다운스트림 태스크(downstream task)에 대한 능력을 향상시키기 위한 보편적인 방법입니다. 그러나 이전 연구들은 이러한 능력 향상에 대가가 따른다는 것을 보여주었습니다. 즉, 비적대적(non-adversarial) 데이터로 미세 조정을 수행하더라도, 모델이 안전하지 않은 적대적 프롬프트(adversarial prompts)에 반응하는 경향이 증가할 수 있다는 것입니다. 본 연구에서는 9개 언어로 번역된 무해한(benign) 데이터를 사용하여 Llama-3.2, Qwen3, Gemma-3 모델을 미세 조정함으로써, 다국어 환경에서 발생하는 이 현상에 대한 최초의 포괄적인 실증적 연구를 제시합니다. 연구 결과, 안전성 결과는 미세 조정에 사용된 언어와 평가 언어 모두에 매우 민감하게 반응하며, 일부 설정에서는 적대적 순응률(adversarial compliance rates)이 4배까지 증가하는 것을 발견했습니다. 다국어 안전성 드리프트(safety drift)는 일반적인 능력 지표와 분리되어 있으며, 언어와 모델에 따라 이질적으로 발생합니다. 비영어권 언어로의 미세 조정은 영어보다 내부 표현 드리프트(internal representational drifts)를 더 작게 유도하는 경우가 많지만, 이러한 변화는 모델이 과장된 순응(compliance) 또는 거부(refusal) 중 하나를 기본값으로 선택하게 만듭니다. 따라서 영어로만 미세 조정의 영향을 평가하는 것은 배포를 위한 충분한 보증을 제공하지 못합니다. 이러한 교차 언어적 안전성 사각지대에 대한 추가 연구를 촉진하기 위해, 우리는 Multilingual-Benign-Tune 데이터셋과 SORRY-Bench-Multilingual 평가 스위트를 공개합니다.