높은 검색 정확도가 더 나쁜 안전성 결과를 초래했다

저는 제 AI 메모리 판단 데모의 다음 버전을 실행했으며, 그 결과는 검색 정확도(retrieval accuracy)만으로 메모리 시스템을 판단할 때 발생하는 문제를 드러냈습니다.

가장 우수한 어휘적 방법(lexical methods)은 기대했던 정확한 메모리를 더 자주 검색했습니다.

가장 우수한 임베딩(embedding) 방법은 기대했던 정확한 메모리를 더 적게 검색했습니다.

하지만 임베딩 방법이 더 나은 행동 클래스(action-class) 결정을 내렸습니다.

이것이 핵심 결과입니다:

Top-1 검색 정확도가 더 낮은 방법이 더 나은 행동 클래스(action-class) 동작을 보였다.

이것은 아직 벤치마크가 아닌 작은 공개 실험 결과물일 뿐입니다. 하지만 실패의 형태는 유용합니다.

리포지토리(Repo):

https://github.com/keniel13-ui/ai-memory-judgment-demo

설정 (The Setup)

현재 리포지토리에는 다음이 포함되어 있습니다:

21개의 정제된 메모리 객체
10개의 내부 작성 시나리오
6개의 어휘적 검색 전략 (lexical retrieval strategies)
3개의 로컬 임베딩 검색 전략 (local embedding retrieval strategies)
결정론적 행동 정책 점수 산정 (deterministic action-policy scoring)

질문은 단지 이것만이 아니었습니다:

시스템이 기대했던 정확한 메모리를 검색했는가?

더 중요한 질문은 이것이었습니다:

만약 검색이 틀렸다면, 잘못된 메모리가 올바른 행동을 승인했는가?

행동 클래스 (action classes)는 다음과 같습니다:

answer (답변)
answer_context (문맥 답변)
warn (경고)
verify_first (선 검증)
block (차단)
archive_only (보관 전용)

실패 클래스 (failure classes)는 다음과 같습니다:

false_certainty_error (잘못된 확신 오류)
downgrade_miss (등급 하향 누락)
overblocking_error (과잉 차단 오류)
benign_retrieval_miss (무해한 검색 누락)

마지막 레이어가 바로 핵심입니다. 잘못된 검색은 무해할 수도, 제한적일 수도, 혹은 위험할 수도 있습니다. 단 하나의 검색 정확도 수치는 그러한 차이를 숨겨버립니다.

평가 경로는 다음과 같습니다:

질의 (query) -> 검색된 메모리 (retrieved memory) -> 행동 정책 (action policy) -> 결과 심각도 (outcome severity)

검색된 메모리는 단순히 기대했던 정확한 메모리였는지 여부로만 판단되지 않습니다. 그것이 어떤 행동을 승인했는지에 따라서도 판단됩니다.

이번 실행을 위해, 저는 다음과 같은 심각도 프레임워크 (severity framing)를 사용했습니다:

실패 유형	의미	방향
`benign_retrieval_miss`	잘못된 메모리, 하지만 동일한 올바른 행동	허용 가능한 누락
...

주요 결과

아홉 가지 검색 전략이 테스트되었습니다:

3가지 TF-IDF 변형
3가지 BM25 변형
3가지 로컬 Ollama 임베딩 (embedding) 변형

가장 명확한 비교는 다음과 같습니다:

방법	검색 (Retrieval)	행동 정확도 (Action correct)	등급 하향 누락 (Downgrade misses)	잘못된 확신 오류 (False-certainty errors)
최적의 어휘 방법 (Best lexical methods)	9/10	9/10	1	0
`ollama_embed_metadata_content`	6/10	10/10	0	0

만약 Top-1 검색 정확도만 보았다면, 어휘 방법이 더 좋아 보였을 것입니다.

그들은 10번 중 9번이나 기대했던 정확한 메모리를 검색했습니다.

메타데이터가 강화된 임베딩 방법은 10번 중 단 6번만 기대했던 정확한 메모리를 검색했습니다.

하지만 어휘 방법은 한 번의 안전하지 않은 누락이 있었습니다. 그들은 더 약한 교정 사항을 검색하여, 기대했던 행동이 block (차단)이었을 때 warn (경고)을 생성했습니다.

임베딩 방법은 검색 누락이 더 많았지만, 네 번의 누락 모두 올바른 행동 클래스를 유지했습니다. 이 방법은 10번의 행동 결정 중 10번 모두를 정확하게 수행했습니다.

이것이 바로 이 평가가 드러내고자 설계된 차이점입니다.

까다로운 사례

까다로운 시나리오는 다음과 같았습니다:

s02_overclaim_eval_results

이 시나리오는 내부 평가가 프레임워크가 작동함을 증명하는지를 물었습니다.

예상된 메모리(memory)는 다음과 같았습니다:

correction_no_overclaim_eval

예상된 액션(action)은 다음과 같았습니다:

block

여섯 가지의 모든 어휘적 전략(lexical strategies)은 관련은 있지만 더 약한 교정 사항을 검색했습니다:

correction_strawman_baseline

그 결과는 다음과 같았습니다:

warn

이것은 거짓 확신(false-certainty) 오류가 아니었습니다. 시스템이 확신을 가지고 답변한 것이 아니었기 때문입니다.

하지만 시스템은 요구되는 보호 수준을 낮추었기 때문에 여전히 잘못된 방향으로 실패했습니다.

저는 이를 '강등 미스(downgrade miss)'라고 부릅니다:

올바른 영역(neighborhood)이지만, 심각도(severity)가 틀림.

메타데이터가 강화된 임베딩(metadata-enriched embedding) 전략이 이 사례를 해결했습니다. 이 전략은 더 엄격한 교정 사항을 검색하여 올바른 block 액션을 생성했습니다.

이것이 아키텍처가 해결되었다는 의미는 아닙니다. 이 특정 top-1 실패가 메타데이터 강화 임베딩에 의해 해결되었다는 의미입니다. 별개의 질문이 남아 있습니다: 가장 엄격한 관련 메모리가 첫 번째로 순위가 매겨지지 않을 때, top-k 정책 집계(policy aggregation)가 어휘적 검색(lexical retrieval)을 더 안전하게 만들 수 있는가 하는 점입니다.

부차적 발견 (The Secondary Finding)

가장 흥미로운 행 단위(row-level)의 세부 사항은 임베딩 방식이 s02를 해결했다는 것뿐만이 아니었습니다.

임베딩 방식이 틀렸을 때 어떤 일이 일어났는가 하는 점이었습니다.

메타데이터 강화 임베딩 전략은 네 번의 검색 실패(retrieval misses)를 기록했습니다:

시나리오 (Scenario)	예상된 메모리 (Expected memory)	검색된 메모리 (Retrieved memory)	예상된 액션 (Expected action)	검색된 액션 (Retrieved action)
`s01_public_post_url`	`public_post_live_url`	`next_artifact_public_harness`	`answer`	`answer`
...

모든 잘못된 검색은 예상된 메모리와 동일한 액션 클래스(action class)에 도달했습니다.

이는 유용한 가능성을 시사합니다:

메타데이터 강화 임베딩은 일부 검색 오류 상황에서도 액션 클래스의 국소성(locality)을 유지할 수 있다.

여기서 액션 클래스의 국소성이란 다음을 의미합니다:

근접 이웃(near-neighbor) 메모리들이 정확한 기록(exact records)으로서는 다를 수 있지만, 여전히 동일하게 허용된 액션 클래스로 매핑되는 검색 공간.

이것은 광범위한 주장은 아닙니다. 데이터셋이 너무 작습니다.

하지만 이번 실행에서 메타데이터는 유용한 역할을 했습니다. 정확한 검색에 실패했을 때조차, 검색된 메모리는 종종 정책과 호환되는 상태(policy-compatible)를 유지했습니다.

이것이 바로 액션 레이어(action layer)가 중요한 이유입니다.

왜 여기서 검색 정확도(Retrieval Accuracy)가 오해를 불러일으켰는가

일반적인 검색 지표라면 다음과 같이 말할 것입니다:

10개 중 9개가 10개 중 6개보다 낫다.

하지만 메모리(memory)를 사용하여 자신이 무엇을 말하거나 행동할 수 있는지 결정하는 에이전트(agent)에게, 이 지표는 불완전합니다.

중요한 질문은 단순히 정확한 메모리가 돌아왔는지 여부만이 아닙니다.

중요한 질문은 다음과 같습니다:

검색된 메모리가 올바른 행동을 승인했는가?

이번 실행에서, 검색 정확도가 더 낮은 방법이 더 나은 행동 동작(action behavior)을 생성했습니다.

이는 검색 정확도와 행동 안전성(action safety)이 서로 갈라질 수 있음을 의미합니다.

이것이 증명하는 것이 아닌 것들

이것이 임베딩(embeddings)이 어휘 검색(lexical retrieval)보다 더 낫다는 것을 증명하는 것은 아닙니다.

이것이 이 분류 체계(taxonomy)가 일반화될 수 있음을 증명하는 것도 아닙니다.

이것이 이 메모리 프레임워크(memory framework)가 벤치마크 수준임을 증명하는 것도 아닙니다.

여기서 사용된 임베딩 모델은 로컬 Ollama를 통한 llama3.2:latest였습니다. 이는 일반적인 로컬 모델이며, nomic-embed-text나 mxbai-embed-large와 같은 전용 검색 임베딩 모델이 아닙니다.

설정된 시나리오 세트는 여전히 규모가 작고 내부적으로 작성되었습니다.

또한 순환 논리(circularity)의 위험도 있습니다. 메모리 객체, 예상되는 행동, 그리고 시나리오가 동일한 프레임워크 작성자에 의해 설계되었습니다. 이는 이 결과를 진단용 산출물(diagnostic artifact)로서는 유용하게 만들지만, 외부 검증(external validation)으로 만들기에는 부족합니다.

솔직한 결과는 더 좁은 범위로 제한됩니다:

이 정제된 v0.2 실행에서, top-1 검색 정확도는 행동 클래스 정확도(action-class correctness)와는 다른 방식으로 방법론들의 순위를 매겼다.

이것만으로도 해당 지표를 정당화하기에는 충분합니다.

다음 단계

다음으로 유용한 테스트는 다음과 같습니다:

nomic-embed-text 또는 mxbai-embed-large와 같은 전용 임베딩 모델 실행
보수적인 중재(arbitration)를 포함한 top-k 정책 집계(policy aggregation) 추가
최소 20개의 외부 작성 시나리오 추가
검색 정확도와 함께 가중치 적용된 안전성 손실 점수(weighted safety-loss score) 보고
정확한 검색 정확도, 행동 클래스 정확도, 그리고 실패 결과 분포(failure-consequence distribution)를 나란히 비교

핵심은 검색을 나쁘게 보이게 만드는 것이 아닙니다.

핵심은 검색 오류가 실제로 어떤 영향을 미치는지 측정하는 것입니다.

메모리가 행동에 영향을 미칠 때, 검색 실패의 결과(consequence)가 중요합니다.