Composable Parametric Retrieval Augmented Generation 을 위한 지식 및 작업 서브스페이스 분리

요약

본 논문은 Parametric Retrieval-Augmented Generation (PRAG)의 한계점인 '지식과 작업 행동의 얽힘(entanglement)' 문제를 해결하기 위한 새로운 어댑터 학습 설정, Orthogonal Subspace Decomposition (OSD)을 제안합니다. OSD는 재사용 가능한 작업 행동을 별도의 Task LoRA로 분리하고, 문서별 지식을 직교 서브스페이스에 인코딩하는 방식으로 PRAG를 개선합니다. 이 직교화 전략은 여러 어댑터를 병합할 때 파라메트릭 RAG의 구성적 견고성(compositional robustness)을 크게 향상시키는 것으로 나타났습니다.

핵심 포인트

• PRAG는 경량 파라미터 모듈로 검색 증강을 수행하는 유망한 대안이지만, 기존 구현체들은 지식과 작업 행동이 얽혀 있어 병합 시 안정성이 떨어지는 문제가 있습니다.
• 제안된 Orthogonal Subspace Decomposition (OSD)은 재사용 가능한 '작업 행동'과 문서별 '지식'을 직교 서브스페이스를 이용해 분리 학습합니다.
• Task LoRA로 작업 행동을 포착하고, Document LoRA로 지식을 인코딩함으로써 어댑터 업데이트의 병합 신뢰성을 높일 수 있습니다.
• 실험 결과, OSD는 특히 다문서 환경에서 여러 어댑터를 병합할 때 PRAG의 구성적 견고성(compositional robustness)을 효과적으로 향상시킵니다.