Composable Parametric Retrieval Augmented Generation 을 위한 지식 및 작업 서브스페이스 분리

Parametric Retrieval-Augmented Generation (PRAG) 은 추론 시점에 검색 및 병합이 가능한 경량 파라미터 모듈로 외부 문서를 인코딩하여, 컨텍스트 내 검색 증강 (in-context retrieval augmentation) 의 유망한 대안을 제시합니다. 그러나 많은 PRAG 구현체는 작업 감독 목적 (task-supervised objectives) 으로 문서 어댑터를 학습시켜, 각 어댑터가 문서별 사실과 재사용 가능한 작업 해결 행동을 모두 인코딩하도록 할 수 있습니다. 이러한 얽힘 (entanglement) 은 어댑터의 병합 신뢰성을 낮출 수 있습니다: 추론 시점에 여러 어댑터를 병합할 때, 중복된 작업 행동이 문서별 업데이트와 함께 누적될 수 있어, 병합된 어댑터가 의도한 문서 지식에 덜 집중되고 안정성이 떨어질 수 있습니다. 이 문제를 조사하기 위해 우리는 재사용 가능한 작업 행동을 문서별 지식 어댑터에서 분리하는 어댑터 학습 설정인 Orthogonal Subspace Decomposition (OSD) 을 탐구합니다. 구체적으로, 우리는 먼저 재사용 가능한 작업 행동을 포착하기 위해 Task LoRA 를 학습한 후, 문서별 지식을 직교 서브스페이스 (orthogonal subspace) 에서 인코딩하도록 문서 LoRAs 를 학습합니다. 이 설정은 다문서 PRAG 에서 작업 및 문서 LoRA 업데이트를 직교화하는 것이 어댑터 병합에 미치는 영향을 통제된 방식으로 조사할 수 있는 방법을 제공합니다. 여러 지식 집약적 작업과 모델 규모에 걸친 실험 결과, 이 직교화 전략이 특히 여러 문서 어댑터를 병합할 때 파라메트릭 RAG 의 구성적 견고성 (compositional robustness) 을 향상시킬 수 있음을 시사합니다.