GRAG: 개인화된 대화형 시스템을 위한 범용 응답 증강 생성 (Generic Response-Augmented Generation) 프레임워크

자원이 제한적이거나 개인정보 보호에 민감한 환경에서 고성능의 개인화된 대화형 에이전트를 배포하는 것은 여전히 큰 과제로 남아 있습니다. 우리는 기존 방식에서 근본적인 병목 현상을 식별했습니다. 현재의 학습 패러다임은 개인화 (Personalization)와 근거 제시 (Grounding)를 하나의 단일한 학습 문제로 취급합니다. 이러한 패러다임 하에서 언어 모델 (Language Models)은 무엇을 말할 것인가 (내용 근거 제시, Content Grounding)와 사용자 특유의 방식으로 어떻게 말할 것인가 (개인화, Personalization)를 동시에 해결해야 하며, 이는 상당한 계산 및 최적화 문제를 야기합니다. 결과적으로, 페르소나 준수 (Persona Adherence)를 위해 문맥적 근거 제시를 희생하거나, 그 반대의 경우가 빈번하게 발생하여, 대화 이력에 대한 근거가 약하거나 개인화가 불충분한 응답이 생성됩니다.

본 연구에서는 이러한 상충하는 목표들을 분리하는 Generic Response-Augmented Generation (GRAG) 프레임워크를 제안합니다. 이 프레임워크는 고성능 범용 LLM (Large Language Models)으로부터 추출한 오프라인의 범용 응답을 의미적 및 구조적 스캐폴딩 (Scaffold)으로 활용하여, 자원이 제한된 환경에서 더 작은 작업 특화 모델 (Task-specialized Models)의 미세 조정 (Fine-tuning)을 원활하게 가이드함으로써 두 목표를 분리합니다. 콘텐츠 근거 제시를 개인화로부터 분리함으로써, GRAG는 모델이 대화 문맥에 단단히 고정된 상태를 유지하면서 오직 페르소나 주입 (Persona Injection)에만 전념할 수 있도록 합니다.

우리는 GRAG를 사후 융합 (Post-fusion) 및 사전 융합 (Pre-fusion) 기반의 두 가지 아키텍처 변형으로 구현하였으며, 다양한 개인화 구조를 포함하는 여러 벤치마크 대화 데이터셋을 통해 이를 평가했습니다. 실험 결과, GRAG는 보조 스캐폴딩을 사용하지 않는 최첨단 (State-of-the-art) 방법론들을 크게 능가하였으며, ROUGE-2 점수에서 최대 47%, BLEU 점수에서 36%의 향상을 달성했습니다. 궁극적으로 GRAG는 자원이 제한된 환경에서 근거 인지형 (Grounding-aware) 개인화 대화 시스템을 구축하기 위한 일반화 가능한 청사진을 제공합니다.