RAG vs MAG: 더 똑똑한 AI 메모리를 향한 두 가지 경로

대규모 언어 모델 (Large Language Models)은 강력하지만, 근본적인 한계가 있습니다. 바로 지식이 학습 시점에 고정되어 있으며 컨텍스트 윈도우 (Context Window)가 유한하다는 점입니다. 이를 해결하기 위해 두 가지 지배적인 아키텍처 전략이 등장했습니다. 바로 **검색 증강 생성 (Retrieval-Augmented Generation, RAG)**과 **메모리 증강 생성 (Memory-Augmented Generation, MAG)**입니다. 챗봇부터 자율 에이전트 (Autonomous Agent)에 이르기까지 무엇인가를 구축하고 있다면 이 둘의 차이를 이해하는 것이 중요합니다.

RAG란 무엇인가?

검색 증강 생성 (RAG)은 언어 모델을 외부 지식 저장소, 주로 벡터 데이터베이스 (Vector Database)와 결합합니다. 쿼리 (Query)가 들어오면 시스템은 다음과 같은 과정을 거칩니다:

1. 쿼리를 벡터 (Vector)로 임베딩 (Embed) 합니다.
2. 의미론적으로 가장 유사한 문서나 청크 (Chunks)를 검색합니다.
3. 해당 청크들을 모델의 컨텍스트 윈도우 (Context Window)에 주입합니다.
4. 검색된 콘텐츠에 근거하여 답변을 생성합니다.

RAG는 본질적으로 "오픈 북 (Open-book)" 생성 방식입니다. 모델은 사실을 암기할 필요가 없습니다. 추론 (Inference) 시점에 제공되는 정보에 대해 추론만 잘하면 됩니다.

강점:

• 업데이트가 용이함 — 재학습 없이 새로운 문서의 인덱스를 다시 생성 (Re-index)하기만 하면 됩니다.
• 실제 출처에 기반하여 답변을 생성함으로써 환각 (Hallucination) 현상을 줄입니다.
• 크고 정적이며 변화가 느린 지식 베이스 (Knowledge Base)에 효과적입니다.
• 투명함 — 어떤 문서가 사용되었는지 정확히 인용할 수 있습니다.

약점:

• 검색 품질이 답변 품질의 상한선을 직접적으로 결정합니다.
• 명시적으로 다시 인덱싱하지 않는 한, 과거 상호작용에 대한 지속적인 메모리가 없습니다.
• 컨텍스트 윈도우 (Context Window)로 인해 한 번에 사용할 수 있는 검색 자료의 양이 제한됩니다.
• 많은 검색된 청크 (Chunks) 사이의 멀티 홉 추론 (Multi-hop Reasoning)에 어려움을 겪습니다.

MAG란 무엇인가?

메모리 증강 생성 (MAG)은 다른 접근 방식을 취합니다. 정적인 외부 코퍼스 (Corpus)에서 정보를 가져오는 대신, 모델은 과거의 상호작용, 사실 또는 상태에 대한 진화하는 구조화된 메모리를 유지합니다. 이 메모리는 다음과 같을 수 있습니다:

• 요약된 대화 기록 (summarized conversation history)
• 사용자 또는 작업에 대해 학습된 사실들의 키-값 저장소 (key-value store)
• 시간이 지남에 따라 쓰고 읽는 에피소드 메모리 버퍼 (episodic memory buffer)
• 인간의 기억 시스템과 유사하게 정보를 통합하는 계층적 메모리 (단기 + 장기 메모리)

MAG 시스템은 고정된 저장소에서 단순히 **읽기 (read)**만 하는 것이 아니라, 작동하면서 메모리에 능동적으로 **쓰기 (write)**를 수행합니다. 이는 장기 실행 에이전트(long-running agents), 개인 비서, 그리고 세션 간의 연속성이 중요한 모든 애플리케이션에 매우 적합합니다.

강점 (Strengths):

• 긴 상호작용 전반에 걸쳐 연속성과 개인화 유지
• 원문 텍스트를 저장하는 대신 시간이 지남에 따라 정보를 압축하고 추상화할 수 있음
• 정적인 문서가 아닌, 진화하고 역동적인 상태 (dynamic state)를 지원
• 결정 사항과 결과를 "기억"해야 하는 에이전트 워크플로우 (agentic workflows)에 더 적합

약점 (Weaknesses):

• 설계 및 디버깅이 더 복잡함 — 메모리가 표류(drift)하거나, 감쇠(decay)하거나, 오래된 정보(stale)가 될 수 있음
• 잘못된 기억이 강화될 경우 오류가 누적될 위험이 있음
• RAG의 문서 인용(citations)보다 투명성이 떨어짐
• 세심한 메모리 관리(망각, 요약, 충돌 해결)가 필요함

RAG vs MAG: 측면 비교

반드시 하나를 선택해야 할까요?

실제로는 최고의 시스템들이 점점 더 두 방식을 결합하는 추세입니다. 프로덕션급 AI 에이전트는 기업 지식 베이스를 바탕으로 답변을 근거화하기 위해 RAG를 사용하는 동시에, 사용자의 선호도, 과거의 결정, 대화 기록을 기억하기 위해 MAG 스타일의 메모리 계층을 사용할 수 있습니다. RAG를 모델의 _도서관 대출 카드 (library card)_로, MAG를 모델의 _개인 노트 (personal notebook)_로 생각하십시오. 하나는 세상의 지식에 접근하게 해주고, 다른 하나는 그 지식을 통한 당신만의 여정을 기억하게 해줍니다.

적절한 접근 방식 선택하기

스스로에게 질문해 보세요:

• 지식 베이스가 방대하고, 정적이며, 문서 중심입니까? RAG (Retrieval-Augmented Generation) 쪽을 선택하세요.
• 애플리케이션이 사용자, 세션 또는 진화하는 상태 (evolving state)를 기억해야 합니까? MAG (Memory-Augmented Generation) 쪽을 선택하세요.
• 지식의 폭과 시간 경과에 따른 연속성이 모두 필요합니까? 하이브리드 (hybrid) 시스템을 구축하세요.

AI 시스템이 단발성 질의응답 (single-shot Q&A) 도구에서 수명이 긴 자율 에이전트 (autonomous agents)로 진화함에 따라, RAG 대 MAG의 문제는 결국 _당신의 시스템에 어떤 종류의 메모리가 필요한가_에 대한 문제이며, 점점 더 그 해답은 '둘 다'가 되어가고 있습니다.