검색 증강 자체 회상(Retrieval-Augmented Self-Recall)의 파트 5. 코드: RE-call. 파트 4: 평가 하네스 (Part 4: the eval harness).

저는 파트 3에서 가져온 gap_warning 가드를 합리적으로 보이는 기본값과 함께 구현했습니다. 즉, 최적 코사인 유사도(cosine similarity)가 0.50 미만이면 잠재적인 간격(probable gap)으로 간주하고 답변을 거부하도록 했습니다. 저는 이것을 테스트했고, 작동했습니다.

그런 다음 임베딩 모델(embedding model)을 교체했습니다. 거절되어야 할 모든 질문이 자신감 있는 답변으로 돌아왔습니다.

오류도 없고, 충돌도 없었고, 실패한 테스트도 없었습니다. 가드는 여전히 그 자리에 있었고, 계속 작동했으며, 모든 것이 괜찮다고 보고하고 있었습니다. 단지 조용히 '가드' 역할을 멈춘 것뿐이었습니다.

제가 이 메커니즘을 공유하는 이유는 이것이 제 프로젝트를 넘어 잘 일반화되기 때문이며, 현재 여러분의 RAG 시스템에 실제로 적용되어 있을 가능성이 높기 때문입니다.

코사인 유사도는 모델 간에 보정되지 않는다 (Cosine similarity is not calibrated across models)

간격 가드(gap guard)는 best_cosine < threshold일 때 작동합니다. 저는 0.50을 사용했습니다. 문제는 0.50이라는 값이 각 임베더(embedder)마다 완전히 다른 의미를 가진다는 것입니다. 왜냐하면 각 모델이 자체적인 기하학 구조로 벡터 공간(vector space)을 펼치기 때문입니다. 같은 숫자, 다른 의미인 셈입니다.

이 하네스(harness)는 답변 가능한 질문과 답변 불가능한 질문에 대해 임베더별 코사인 분포를 측정했습니다.

voyage-3: 답변 불가능한(unanswerable) 질문은 0.09–0.32의 점수를, 답변 가능한(answerable) 질문은 0.53–0.70의 점수를 기록했습니다. 따라서 0.50이라는 임계값은 이 두 분포 사이에 깔끔하게 위치합니다. FCR은 0.00입니다. 제 기본 설정이 작동했어요 — 우연히요. Voyage의 기하학적 구조가 경계를 0.50 근처에 놓았을 뿐입니다.

bge-small: 답변 불가능한 질문은 0.51–0.64의 점수를 기록했는데, 이는 제 0.50 임계값보다 전체적으로 높습니다. 따라서 0.50 아래에서만 작동하는 가드(guard)는 이들에는 전혀 발동하지 않습니다. 결과: FCR 1.00. 모든 답변 불가능한 질문이 자신감 있게 답변되었습니다. 가드는 꺼졌고, 아무것도 알려주지 않았습니다. 임계값을 ~0.70으로 재조정하면 FCR은 0.00으로 떨어집니다 — 분포 자체는 분리 가능했지만, 제가 잘못된 곳을 잘랐던 것입니다.

hashing-64: 답변 가능한 질문(0.30–0.68)과 답변 불가능한 질문(0.35–0.53)이 겹칩니다. 임베더가

• 의미론적 캐싱(semantic caching) (

검색 증강 자체 회상 (Retrieval-Augmented Self-Recall)의 파트 5. 코드: RE-call. '칭찬하는 실패가 아닌, 중요한 실패를 측정한다'는 원칙은 Claude Code, Beyond the Prompt에서도 관통합니다.