NOT IN CORPUS: 로컬 모델에게 환각 대신 '모름'을 가르치기

요약

로컬 RAG 시스템에서 모델이 환각 대신 '모름'을 말하도록 제어하는 방법을 제시합니다. 검색(retrieval) 자체의 문제가 아니라, 작은 생성 모델에 명시적인 행동 계약(behavioral contract)을 적용하여 출처 기반 답변과 함께 부재 시 'NOT IN CORPUS'를 출력하게 하는 것이 핵심입니다.

핵심 포인트

• RAG 실패는 검색이 아닌 생성 계층의 문제이다.
• 모델에게 '모름'(Abstention)을 명시적으로 테스트하고 강제해야 한다.
• 프롬프트에 행동 계약(behavioral contract)을 적용하는 것이 해결책이다.
• Ollama, ChromaDB 등 로컬 스택으로 구현 가능하며 오픈소스 도구가 공개되었다.