Edilec 블로그에 최초 게시됨: https://edilec.com/blog/ai-1080/rag-for-company-knowledge-and-support/

검색 증강 생성 (Retrieval-augmented generation, RAG)은 직원과 지원 팀이 승인된 정책, 제품 문서, 절차 및 사례 이력으로부터 질문에 답변하는 것을 도울 수 있습니다. 이 시스템은 요청 시점에 제어된 코퍼스 (corpus)를 검색하고, 선택된 구절을 모델에 제공하며, 해당 증거를 바탕으로 답변하도록 요청합니다. 이는 지식 업데이트를 더 쉽게 만들지만, 모든 답변을 정확하게 만들어주지는 않습니다. 프로덕션 설계는 콘텐츠 품질, 검색 (retrieval), 권한 부여 (authorization), 생성 (generation) 및 인간의 에스컬레이션 (human escalation)을 별도의 제어 항목으로 취급해야 합니다.

RAG가 수행하는 역할과 위치

승인된 소스를 수집하고, 이를 검색 가능한 단위로 나누며, 메타데이터와 권한을 부착하고, 어휘적 (lexical) 및 벡터 (vector) 표현을 생성하며, 후보를 검색하고, 순위를 매기고, 제한된 컨텍스트 (bounded context)를 조립하여 증거 참조와 함께 답변을 생성합니다. RAG는 단순히 문서 폴더에 첨부된 프롬프트 (prompt)가 아니라, 생성형 인터페이스를 가진 정보 시스템입니다.

검색은 권한 부여가 아닙니다

관련된 문서라 할지라도 여전히 제한될 수 있습니다. 구절이 모델 컨텍스트 (model context)에 들어가기 전에 액세스를 강제하고, 쿼리 (query) 시점에 권한 부여를 테스트하십시오. 생성 후에 인용구를 숨기는 것은 모델이나 사용자에게 이미 노출된 사실을 되돌릴 수 없습니다.

모델을 튜닝하기 전에 지식 베이스를 준비하십시오

중복된 절차, 만료된 정책, 모순된 제품 노트는 모델의 품질과 관계없이 일관되지 않은 답변을 생성할 것입니다. 소스를 인벤토리화하고 각각을 권위 있는 (authoritative), 보조적인 (supplementary) 또는 제외된 (excluded) 것으로 분류하십시오. 청킹 (Chunking)은 임의의 글자 수가 아니라 의미를 따라야 합니다.

검색과 답변을 관찰 가능한 단계로 설계하십시오

어휘 검색 (Lexical search)은 오류 코드, 이름 및 독특한 문구에 강력합니다. 벡터 검색 (Vector search)은 사용자의 표현이 문서와 다를 때 도움이 됩니다. 하이브리드 검색 (Hybrid retrieval)은 두 방식을 모두 실행하고 후보군을 결합합니다. 더 많은 청크 (Chunks)를 검색한다고 해서 항상 답변이 개선될 것이라고 가정하지 마십시오.

최종 산출물뿐만 아니라 파이프라인을 평가하십시오

일반적인 요청, 희귀 용어, 오타, 모호한 표현, 제한된 문서, 그리고 답이 없는 질문을 포함하여, 실제 비식별화된 질문들로 구성된 대표적인 평가 세트를 구축하십시오. 재현율 (Recall), 순위 품질 (Ranking quality), 근거성 (Groundedness), 인용 정확성 (Citation correctness), 답변 거부 품질 (Abstention quality) 및 권한 부여 (Authorization)를 측정하십시오.

단계별 RAG 출시 계획

1. 이름이 지정된 소스 소유자가 있는 하나의 제한된 도메인을 인벤토리화하고 관리하십시오.
2. 생성 (Generation) 기능을 추가하기 전에 검색 (Retrieval)을 먼저 구축하고, 라벨링된 질문을 대상으로 튜닝하십시오.
3. 답변 생성을 오프라인으로 추가하고 인용 및 답변 거부 동작을 테스트하십시오.
4. 필수 검토 과정을 거쳐 제한적인 내부 파일럿을 실행하십시오.
5. 권한 (Authorization), 최신성 (Freshness) 및 관련성 (Relevance)이 기준을 충족할 때만 게이트 (Gates)를 통해 확장하십시오.
6. 지속적으로 운영하며 테스트된 롤백 (Rollback) 경로를 유지하십시오.

핵심 요약

• RAG를 문서 폴더에 첨부된 프롬프트가 아니라, 관리되는 정보 시스템으로 취급하십시오.
• 검색을 튜닝하기 전에 소스 콘텐츠를 정제, 분류하고 소유자를 지정하십시오.
• 증거가 모델 컨텍스트 (Context)에 들어가기 전에 사용자 및 문서 권한을 강제하십시오.
• 검색, 근거성, 인용, 답변 거부 및 운영을 각각 별도로 평가하십시오.
• 제한적이고 검토 가능한 유스케이스 (Use case)로 시작하여, 측정된 게이트를 통해서만 확장하십시오.

Edilec의 추가 정보: AI 에이전트가 비즈니스 워크플로우에서 작동하는 방식 (edilec.com/blog/ai-1024) 및 Edilec의 AI 자동화 서비스 (edilec.com/services/ai-automation).