LLM 조건화의 효과성-유창성 상충 관계에 대한 체계적 연구

대규모 언어 모델(LLMs)의 출력을 제어하는 것은 신뢰할 수 있는 배포를 위해 핵심적인 과제이지만, 관련된 상충 관계에 대한 명확한 이해는 여전히 부족합니다. 현재 조건화 접근 방식들은 종종 목표 개념을 주입하거나 제거하는 효과성에만 좁게 초점을 맞추고, 생성 품질은 간과하는 경향이 있습니다. 본 연구에서는 주입 및 제거 시나리오 모두에서 다양한 조건화 방법들을 체계적으로 조사했습니다. 그 결과, 효율적인 조향(steering) 방법들은 유창성(fluency)에 큰 비용을 지불하면서도 조건화를 달성하는 경우가 빈번하다는 것을 발견했습니다. 나아가, 훈련 패러다임과의 중요하지만 이전에 간과되었던 상호작용을 확인했습니다: 활성화 조향(activation steering) 방법들은 명령어 기반 미세 조정 모델(instruction-tuned models)에서 그 기본 모델(base counterparts)보다 훨씬 효과가 떨어집니다. 반면에 단순 프롬프팅(prompting)과 정교한 지도 미세 조정(supervised fine-tuning)은 개념 주입에 실행 가능한 옵션이지만, 개념 제거에는 그렇게 좋지 않습니다. 마지막으로, 저렴하게 계산되는 텍스트 기반 지표들이 비용이 많이 드는 LLM-as-judge 점수와 높은 상관관계를 보이며, 조건화 방법들의 동작 방식에 대한 통찰력을 제공합니다.