발생적 불일치 페르소나의 일관성 규명

미세하게 불일치된 데이터 (narrowly misaligned data) 로 대규모 언어 모델 (LLMs) 을 파인튜닝하면 광범위한 불일치 행동으로 일반화되는 현상이 발생하며, 이를 '발생적 불일치 (EM)'라고 부릅니다. 이전 연구에서는 발생적으로 불일치된 모델에서 유해한 행동과 자기 평가 사이에 상관관계가 있음을 발견했지만, 이러한 대응 관계가 작업 (tasks) 을 가로지르는 일관성이 있는지, 그리고 파인튜닝 도메인에 따라 달라지는지는 여전히 명확하지 않았습니다. 우리는 Qwen 2.5 32B Instruct 모델을 보안이 취약한 코드 (insecure code), 위험한 금융 조언 (risky financial advice), 잘못된 의료 조언 (bad medical advice) 등 6 가지 미세하게 불일치된 도메인에서 파인튜닝하고, 유해성 평가 (harmfulness evaluation), 자기 평가 (self-assessment), AI 시스템에 대한 두 가지 설명 중 선택하기, 출력 인식 (output recognition), 점수 예측 (score prediction) 을 포함한 실험을 수행하여 EM 페르소나의 일관성을 규명했습니다. 우리의 결과는 두 가지 뚜렷한 패턴을 보여줍니다: 유해한 행동과 보고된 불일치가 결합된 '일관된 페르소나 (coherent-persona)' 모델과, 유해한 출력을 생성하면서도 정렬된 AI 시스템으로 자신을 규정하는 '역전된 페르소나 (inverted-persona)' 모델입니다. 이러한 발견은 발생적 불일치의 효과를 더 세밀한 그림으로 드러내며, EM 페르소나의 일관성에 의문을 제기합니다.