안전한 LLM 미세 조정(Fine-Tuning)을 위한 낮은 친화성 페르소나 조건화

최근 연구에 따르면 대규모 언어 모델(LLMs)을 사회적 따뜻함(social warmth)을 갖도록 미세 조정(fine-tuning)하면 사실적 신뢰성이 저하되고 아첨(sycophancy) 현상이 증가한다는 것이 밝혀졌습니다. 우리는 이와 관련이 있지만 구별되는 실패 모드(failure mode)를 조사합니다. 즉, 따뜻함에 대한 미세 조정은 적대적 안전성(adversarial safety) 또한 약화시켜, 모델이 탈옥(jailbreaks)과 유해한 출력 생성에 더 취약해지게 만듭니다. 우리는 이것이 공감적 적응(empathetic adaptation)의 내재적 결과인지, 아니면 데이터 구축의 부산물인지를 검토합니다. 이를 해결하기 위해, 우리는 사용자 발화(user turns)를 낮은 친화성(low agreeableness)에 조건화하고, 이를 따뜻하고 상황을 완화하는(de-escalating) 어시스턴트 응답과 결합하는 페르소나 기반 재작성 파이프라인을 도입합니다. 4개의 모델을 대상으로 한 세 가지 실험을 통해, 우리의 접근 방식은 대화의 따뜻함을 유지하면서도 일반적인 따뜻함 미세 조정 베이스라인에 비해 탈옥 취약성과 유해 출력률을 감소시킵니다. 표현 프로빙(Representational probing)은 이러한 조건화가 잠재 공간(latent space) 내에서 따뜻함(warmth) 방향과 순응(compliance) 방향 사이의 기하학적 정렬(geometric alignment)을 감소시킨다는 암시적인 증거를 제공합니다. 이러한 결과는 안전 라벨(safety labels), 유해성 탐지기(harm detectors), 또는 학습 목표(training objective)의 변경 없이 데이터 설계만으로도 더 안전한 공감적 미세 조정이 가능하다는 것을 보여줍니다.