엔터프라이즈 AI를 위한 컨텍스트 엔지니어링(Context Engineering), 파트 2: 에이전트를 유용하게 만드는 메모리 레이어

PrepStack에 게시됨.

당신의 AI 에이전트는 요청이 끝나는 순간 모든 것을 잊어버립니다. 이것은 모델의 한계가 아니라, **메모리 레이어 (memory layer)**가 없기 때문입니다. 이것은 저의 컨텍스트 엔지니어링 (Context Engineering) 시리즈의 파트 2입니다.

관점의 재정의 (The reframe)

모델은 상태가 없는 함수 (stateless function)입니다. 메모리는 **임베딩 (embeddings)이 결합된 엔터프라이즈 데이터베이스 (enterprise database)**입니다. 즉, 소유권이 있고, 범위가 지정되며, 감사가 가능하고, 삭제가 가능해야 합니다. 프롬프트에 계속해서 다시 붙여넣는 채팅 기록이 아닙니다.

아키텍처 (The architecture)

ASP.NET Core (Azure SQL 기반의 시스템 레코드(system-of-record) + 거버넌스)와 Python FastAPI 서비스 (Azure AI Search 기반의 임베딩(embeddings) + 의미론적 회상(semantic recall))를 통해 구축되었습니다:

1. 계층형 메모리 (Tiered memory) — 작업 중(working) → 단기(short-term) (Redis + SQL) → 장기 에피소드 + 의미론적(long-term episodic + semantic) (벡터 인덱스(vector index))
2. 두드러짐 기반 쓰기 정책 (A salience-gated write policy) — 모든 대화가 아닌 중요한 것만 저장 (장기 저장 쓰기 작업 약 85% 감소)
3. 검색(Retrieval)은 유사성(similarity)과 최신성(recency)을 혼합하여 파트 1의 토큰 예산 내에 패킹함
4. 테넌트(Tenant) + 사용자(user)를 엄격한 쿼리 필터로 사용 — 프롬프트 지침으로 사용하지 않음
5. 잊힐 권리 (Right-to-be-forgotten) — 5분 이내에 SQL + 벡터 + 캐시로 확산되어 적용됨 (GDPR 제17조)

결과 (The results)

지표 (Metric)	결과 (Outcome)
30번째 턴에서의 컨텍스트 토큰 (Context tokens at turn 30)	~3,500 (기존의 히스토리 채우기 방식인 ~14,000 대비)
...

모델은 상태가 없습니다 (stateless). 메모리는 당신이 소유하는 인프라입니다 — 범위가 지정되고, 감사가 가능하며, 삭제가 가능합니다.

모든 C# 및 Python 코드가 포함된 전체 분석 내용을 PrepStack에서 확인하세요:
https://prepstack.co.in/blog/context-engineering-enterprise-genai-part-2-memory-layer