Persona-Pruner: 역할 수행을 위한 경량 모델 조각하기

언어 모델 (LMs)은 캐릭터나 사용자 페르소나 (persona)에 대한 사양을 제공받았을 때, 일관되고 스타일화된 상호작용을 제공하며 역할 수행 (role-playing) 챗봇으로서 놀라운 잠재력을 보여주었습니다. 그러나 이러한 능력을 실제 응용 분야(예: 수많은 NPC가 동시에 상호작용하는 생태계)에 적용할 때는 과도한 계산 비용으로 인해 심각한 비효율성이 발생합니다. 본 논문에서 우리는 단일 페르소나를 위해 전체 범용 모델을 할당하는 것이 반드시 필요한지에 대해 의문을 제기하며, 특정 캐릭터 정체성은 모델 전체 용량의 극히 일부에만 의존한다는 가설을 세웁니다. 우리는 언어 모델 (LMs)을 단순히 가지치기 (pruning) 할 경우, 특정 페르소나에 대한 역할 수행 성능이 심각하게 저하되는 경우가 많다는 점을 관찰했습니다. 이는 단순한 가지치기가 중복된 지식과 필수적인 캐릭터 특성을 구분하지 못하기 때문입니다. 우리는 단일 설명으로부터 페르소나 특화 서브 네트워크 (sub-networks)를 분리함으로써 경량 역할 수행 모델을 조각하는 프레임워크인 Persona-Pruner를 제안합니다. 우리의 실험 결과는 Persona-Pruner가 기존의 최첨단 LLM 가지치기 기술보다 역할 수행 성능을 훨씬 더 효과적으로 보존함을 일관되게 보여줍니다. 구체적으로 RoleBench의 LLM-as-a-judge 점수 기준으로, 가장 강력한 베이스라인과 비교했을 때 밀집 모델 (dense model) 대비 성능 저하를 최대 93.8%까지 줄이면서도 일반적인 LLM 능력을 여전히 유지합니다. 코드는 https://github.com/jsu-kim/Persona-Pruner 에서 확인할 수 있습니다.