엔터프라이즈 AI를 위한 컨텍스트 엔지니어링 (Context Engineering): RAG 환각(Hallucination)을 18%에서

원문은 PrepStack에 게시되었습니다.

우리는 모델을 변경하지 않고도 엔터프라이즈 RAG 어시스턴트의 오답률을 18%에서 3%로 낮추었습니다. 핵심 동력은 프롬프트(Prompt)가 아니었습니다. 그것은 우리가 조립하여 모델에 제공한 **컨텍스트 (Context)**였습니다.

사고의 전환

모델은 당신의 제품이 아닙니다. 당신이 조립한 컨텍스트가 제품입니다. 프롬프트 엔지니어링 (Prompt engineering)은 문구를 미세 조정합니다. 컨텍스트 엔지니어링 (Context engineering)은 컨텍스트 윈도우 (Context window)에 어떤 데이터가 들어갈지를 제어합니다. 컨텍스트 윈도우를 잡동사니 서랍이 아니라, CPU 캐시 (CPU cache)와 같이 희소하고 관리되어야 하는 자원으로 취급하십시오.

파이프라인

단순한 top-k RAG 방식은 8개의 모호한 청크 (Chunks)를 약 14,000 토큰의 프롬프트에 쏟아붓고 요행을 바랐습니다. 우리는 이를 ASP.NET Core (오케스트레이션)와 Python FastAPI 서비스 (검색 + 랭킹)로 분리된 실제 파이프라인으로 교체했습니다:

1. 재작성 (Rewrite): 모호한 사용자 질문을 독립적인 쿼리 (Query)로 재작성
2. 하이브리드 검색 (Hybrid retrieval): 벡터 전용이 아닌, BM25 키워드 + 벡터 방식 사용
3. 교차 인코더 재순위화 (Cross-encoder re-rank): 넓은 후보군을 최적의 6개로 압축
4. 예산 편성 (Budget): 윈도우 크기 관리 (~3,500 토큰, 모든 바이트를 할당)
5. 압축 (Compress): 중요한 문장들로만 청크를 압축
6. 근거 제시 및 인용 (Ground + cite): 모든 주장에 대해 근거를 제시하거나, 그렇지 못할 경우 거부하고 사람에게 연결

결과

지표	이전	이후
환각률 (Hallucination rate)	18%	3%
...

컨텍스트 윈도우는 희망을 담아 채우는 양동이가 아니라, 관련성에 소비하는 예산입니다.

모든 C# 및 Python 코드가 포함된 전체 분석 내용은 PrepStack에서 확인하세요:
https://prepstack.co.in/blog/context-engineering-enterprise-genai-part-1-context-management