문서는 어디에 위치해야 하는가: 컨텍스트, 표현(Representations), 또는 파라미터인가?

원문 발행 2026. 09. 16. 00:47원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

LLMs가 외부 지식에 접근하는 세 가지 방식(컨텍스트, 파라미터, 잠재적 표현)의 트레이드오프를 비교 분석했습니다. 연구진은 다섯 가지 벤치마크에서 'Cartridges (KV)' 기반 적응 방식이 가장 높은 정확도를 보였으며, 특히 다중 문서 검색 시나리오에서 우위를 입증했습니다.

핵심 포인트

Cartridges (KV)는 오라클 설정 및 다중 문서 검색에서 최고 성능을 기록함.
파라미터 기반 방법은 높은 압축률에서 Cartridges보다 성능이 떨어질 수 있음.
Cartridges는 치명적 망각(catastrophic forgetting) 위험성을 가지는 유일한 방식임.

대규모 언어 모델(LLMs)이 사전 학습 데이터 외부의 질문에 답하려면 새로운 정보에 접근할 필요가 있으며, 이 정보는 문서를 통해 컨텍스트 창으로 제공되거나, 모델의 파라미터로 인코딩되거나, 잠재적 표현(latent representations)으로 주입될 수 있습니다. 하지만 이러한 각 방법은 효율성, 비용, 성능 측면에서 서로 다른 트레이드오프를 가지며, 단 하나의 우승자는 없습니다. 우리는 다섯 가지 지식 집약적 벤치마크에 대해 표현 기반(KV-cache 기반) 적응 방식과 파라미터 기반(fine-tuning 기반) 적응 방식을 통제된 비교를 통해 제시합니다. 오라클 설정에서 Cartridges (KV)는 거의 모든 저장 예산에서 가장 정확한 주입 방법임을 보여주며, 파라미터 기반 방법을 10점 능가합니다. Compaction (KV)은 낮은 압축률에서만 Cartridges와 일치하며, $50 imes$보다 높은 비율에서는 파라미터 기반 방법에 비해 10점 뒤처집니다. 보다 현실적인 다중 문서 검색 시나리오에서 Cartridges는 인컨텍스트 학습(ICL)과 일치하는 유일한 방법이며, 파라미터 기반 방법을 29점, Compaction을 15점 앞섭니다. 그럼에도 불구하고, Cartridges는 전체 fine-tuning 및 대형 MLP 어댑터를 제외하고, 치명적 망각(catastrophic forgetting), 즉 제어 벤치마크에서 6%의 성능 저하, 코딩에서는 13%의 성능 저하를 겪는 유일한 방법이기도 합니다.

AI 자동 생성 콘텐츠

원문 바로가기

문서는 어디에 위치해야 하는가: 컨텍스트, 표현(Representations), 또는 파라미터인가?

요약

핵심 포인트

댓글