검색 증강 생성 (Retrieval-Augmented Generation, RAG) 기반의 LLM 시스템은 시간이 지남에 따라 진화하고 변화할 수 있는 외부 문서 코퍼스 (corpora)에 의존합니다. 그러나 현재의 평가 방법론 (예: RAGAS)은 정적인 스냅샷 (static snapshots)을 기준으로 정확성을 평가하며, 일상적인 업데이트, 사실 관계의 변화, 또는 노이즈로 인해 기초 데이터가 변경될 때 발생하는 결함을 탐지하지 못합니다. 본 논문에서는 코퍼스 진화 상황에서 RAG 시스템의 일관성을 평가하는 변형 테스트 (metamorphic testing) 프레임워크를 소개합니다. 우리는 결함 분류 체계 (fault taxonomy)와, 프리-청크 (pre-chunk, 검색 인덱스) 및 포스트-청크 (post-chunk, 검색된 컨텍스트) 수준 모두에서 시스템을 체계적으로 교란하는 11가지 변이 연산자 (mutation operators)를 공식화합니다. 5개의 데이터셋과 28,000개 이상의 변이체 (mutants)를 통한 실증적 평가 결과, 4.9-10.2%의 변형 위반율 (metamorphic violation rates)이 나타났습니다. 정답 (ground truth)에 대한 메타 평가에서, 우리의 변형 오라클 (metamorphic oracle)은 0.927-1.000의 F1 점수를 달성한 반면, 가장 우수한 RAGAS 지표는 0.570에 그쳤습니다. 마지막으로, 우리는 검색 재설정 (retrieval re-configuration), 생성기 업그레이드 (generator upgrades), 그리고 LLM 기반 재순위화 (LLM-based reranking)를 통해 이러한 결함을 완화할 수 있는 실행 가능한 통찰을 제공합니다.