RAG만으로는 부족한 이유: 인지적 연속성을 위한 RationaleVault 구축하기

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 AI 시스템에 외부 지식에 대한 접근 권한을 부여하는 기본 솔루션이 되었습니다. 이는 문서, 코드베이스, 지식 저장소에 관한 질문에 답하는 데 매우 효과적으로 작동합니다.

하지만 여러 검색 시스템을 구축하면서 저는 계속해서 동일한 문제에 직면했습니다:

검색은 AI가 정보를 기억하도록 돕습니다. 하지만 AI가 작업을 계속 수행하도록 돕지는 않습니다.

이러한 차이로 인해, 단순한 문서 검색이 아닌 **인지적 연속성 (cognitive continuity)**을 중심으로 설계된 메모리 플랫폼인 RationaleVault를 만들게 되었습니다.

문제점

대부분의 AI 메모리 시스템은 다음과 같은 질문에 답하도록 최적화되어 있습니다:

• 이 함수는 무엇을 하나요?
• 이 클래스는 어디에 정의되어 있나요?
• 어떤 문서가 이 주제를 언급하고 있나요?
• 어떤 코드가 이 컴포넌트와 관련이 있나요?

이것들은 검색 (retrieval) 문제입니다.

하지만 실제 프로젝트에서는 다른 범주의 질문들이 발생합니다:

• 지난주에 우리는 어떤 결정을 내렸나요?
• 왜 그 방식을 거부했나요?
• 어떤 실험이 실패했고 무엇을 배웠나요?
• 스프린트(sprint)가 끝날 때 해결되지 않은 질문은 무엇이었나요?
• 스프린트 27을 계속 진행하세요.

이것들은 연속성 (continuity) 문제입니다.

전통적인 RAG 시스템은 가장 중요한 정보가 문서가 아니기 때문에 종종 어려움을 겪습니다.

그것은 바로 문서 뒤에 숨겨진 추론 (reasoning)입니다.

정보 vs 연속성

대부분의 메모리 아키텍처는 정보를 보존하는 데 집중합니다.

인간의 협업은 근거 (rationale)를 보존하는 것에 달려 있습니다.

다음 두 가지 메모리를 생각해 보십시오:

정보 메모리 (Information Memory)

그래프 순회 최적화를 구현함.

연속성 메모리 (Continuity Memory)

그래프 순회 최적화를 구현함.

이유:
...

두 번째 메모리는 의미 있는 연속성을 가능하게 합니다.

첫 번째는 단지 사건을 기록할 뿐입니다.

핵심 아이디어

RationaleVault는 다음과 같은 단순한 원칙을 바탕으로 구축되었습니다:

결과뿐만 아니라 추론을 보존하라.

메모리를 문서의 집합으로 취급하는 대신, 이 시스템은 메모리를 진화하는 인지 과정 (cognitive process)으로 취급합니다.

이는 다음 항목들을 저장함을 의미합니다:

• 결정 사항 (Decisions)
• 실험 (Experiments)
• 미결 질문 (Open questions)
• 트레이드오프 (Tradeoffs)
• 스프린트 결과 (Sprint outcomes)
• 프로젝트 상태 (Project state)
• 지식 관계 (Knowledge relationships)

목표는 AI 시스템이 인간 팀원과 동일한 방식으로 업무를 재개할 수 있도록 하는 것입니다.

아키텍처 개요 (Architecture Overview)

┌─────────────────────┐
│ User Query          │
└──────────┬──────────┘
...

검색 레이어 (retrieval layer)는 여전히 중요합니다.

하지만, 검색은 더 이상 최종 목표가 아닙니다.

검색은 더 큰 연속성 프레임워크 (continuity framework) 내의 지원 구성 요소가 됩니다.

전통적인 RAG를 넘어서 (Beyond Traditional RAG)

전통적인 RAG 파이프라인은 일반적으로 다음과 같습니다:

Query
  ↓
Embedding Search
...

이는 정답이 이미 어딘가에 존재할 때 잘 작동합니다.

하지만 업무의 연속성 (continuation)을 위해서는 종종 여러 소스로부터 컨텍스트를 재구성해야 합니다.

예를 들어:

Continue Sprint 27

이 요청은 다음 항목들을 필요로 할 수 있습니다:

• 이전 스프린트 목표 (Previous sprint objectives)
• 내려진 결정 사항 (Decisions made)
• 벤치마크 결과 (Benchmark results)
• 미결 이슈 (Open issues)
• 아키텍처 변경 사항 (Architectural changes)
• 보류 중인 작업 (Pending work)

단일 문서에는 정답이 포함되어 있지 않습니다.

정답은 메모리로부터 합성 (synthesized)되어야 합니다.

그래프로서의 메모리 (Memory as a Graph)

핵심 설계 결정 중 하나는 지식을 평면적인 문서 집합이 아닌 그래프 (graph)로 표현하는 것이었습니다.

이를 통해 다음과 같은 관계를 설정할 수 있습니다:

Sprint
  ├── Decision
  ├── Experiment
...

그래프 순회 (Graph traversal)를 통해 시스템은 벡터 검색 (vector search)만으로는 검색하기 어려운 컨텍스트를 복구할 수 있습니다.

이는 프로젝트가 커질수록 점점 더 가치 있어집니다.

연속성 투영 (Continuation Projection)

개발 과정에서 등장한 한 가지 개념은 제가 **연속성 투영 (Continuation Projection)**이라고 부르는 것입니다.

다음과 같이 묻는 대신:

어떤 정보가 관련이 있는가?

시스템은 다음과 같이 묻습니다:

업무를 계속하기 위해 어떤 상태 (state)를 재구성해야 하는가?

그 차이는 미묘하지만 중요합니다.

연속성 지향적 메모리 시스템은 다음을 복구하려고 시도합니다:

• 활성 목표 (Active goals)
• 현재 제약 조건 (Current constraints)
• 보류 중인 작업 (Pending tasks)
• 과거의 결정 사항 (Historical decisions)
• 진행 중인 조사 (Open investigations)

목표는 단순히 질문에 답하는 것이 아닙니다.

목표는 작업 컨텍스트 (working context)를 복구하는 것입니다.

우리가 배운 것들

개발 과정에서 몇 가지 통찰이 도출되었습니다.

1. 검색 (Retrieval)은 커버리지 문제를 해결한다

검색은 정보를 찾는 데 매우 탁월합니다.

하지만 연속성 (continuity)을 유지하기에는 충분하지 않습니다.

2. 문서보다 결정 (Decisions)이 더 중요하다

많은 프로젝트의 실패는 이전의 결정들이 잊혀지기 때문에 발생합니다.

결과물 (outputs)을 보존하는 것보다 근거 (rationale)를 보존하는 것이 종종 더 큰 가치를 제공합니다.

3. 컨텍스트는 상태 (State)이다

컨텍스트를 단순히 검색된 청크 (chunks)의 목록으로 보아서는 안 됩니다.

컨텍스트는 프로젝트 상태 (project state)의 재구성입니다.

4. 메모리는 검색 그 이상이다

AI 메모리 시스템의 미래는 단순한 검색보다는 다음과 같은 요소들을 포함할 가능성이 높습니다:

• 검색 (Retrieval)
• 추론 (Reasoning)
• 상태 재구성 (State reconstruction)
• 연속성 지원 (Continuation support)

예시 워크플로우

6개월 동안 진행되는 엔지니어링 프로젝트를 상상해 보십시오.

사용자가 다음과 같이 질문합니다:

스프린트 31을 계속 진행해줘.

연속성을 인지하는 (continuity-aware) 시스템은 사용자가 수개월간의 컨텍스트를 수동으로 다시 설명할 필요 없이 다음 사항들을 재구성할 수 있어야 합니다:

• 현재 프로젝트 목표
• 최근 발견 사항
• 미결 이슈
• 아키텍처 결정 (Architectural decisions)
• 다음 권장 조치

이것이 바로 RationaleVault가 지원하도록 설계된 능력입니다.

이것이 중요한 이유

AI 에이전트의 능력이 향상됨에 따라 한 가지 명백한 한계가 남아 있습니다:

그들은 장기적인 연속성을 유지하는 데 어려움을 겪습니다.

대부분의 시스템은 여전히 연속성보다는 검색에 최적화되어 있습니다.

차세대 메모리 아키텍처는 다음과 같은 사항들을 지원해야 할 것입니다:

• 지속적인 추론 (Persistent reasoning)
• 결정 보존 (Decision preservation)
• 지식 진화 (Knowledge evolution)
• 장기 실행 프로젝트 (Long-running projects)
• 인간-AI 협업 (Human-AI collaboration)

RationaleVault는 그러한 미래가 어떤 모습일지에 대한 탐구입니다.

오픈 소스

RationaleVault는 오픈 소스이며 활발하게 발전하고 있습니다.

GitHub 저장소:

https://github.com/NeutronZero/RationaleVault

피드백, 기여, 비판 및 토론은 언제나 환영합니다.

맺음말

RAG는 AI 시스템이 정보를 기억하는 데 도움을 주었습니다.

다음 과제는 AI 시스템이 왜(why) 그런 결론에 도달했는지를 기억하도록 돕는 것입니다.

정보 검색 (Information Retrieval)에서 인지적 연속성 (Cognitive Continuity)으로의 이러한 전환은, 진정한 의미의 장기적인 AI 협업을 향한 가장 중요한 단계 중 하나가 될 수 있습니다.