탐지는 해결이 아니다: 검색 증강 LLM에서의 모니터링-제어 간극

검색 증강 LLM (Retrieval-augmented LLMs)은 증거의 품질이 행동의 안전성을 결정하는 작업에 배치되지만, 기존의 평가 프로토콜은 단일 턴 (single-turn)의 강건함이 여러 턴에 걸쳐 증거가 축적될 때의 강건함을 예측할 수 있다고 가정합니다. 우리는 이 가정이 근본적으로 잘못되었음을 보여줍니다. 모델들은 모니터링-제어 간극 (monitoring-control gap)을 보입니다. 즉, 모델들은 모순되는 증거를 쉽게 인지하지만, 이러한 인지가 최종 권장 사항을 제한하는 데는 실패합니다. 즉, 인식론적 갈등 (epistemic conflict)을 탐지하는 것이 이를 안전하게 해결함을 의미하지는 않습니다. 4개의 모델 제품군 (1.5B-32B 파라미터)에 걸쳐 50,000회 이상의 턴 단위 평가를 수행한 다중 턴 문서 축적 프로토콜을 통해, 우리는 단일 턴 진단이 RAG의 안전성을 체계적으로 과대평가하며, 모순에 대한 인지가 안전한 해결과 상관관계가 없음을 입증했습니다. 이러한 패턴은 표적화된 인간 검증 (human validation)을 통해 뒷받침되었으며, 보편적인 프롬프트 수정 방안은 존재하지 않음을 확인했습니다. 은닉 상태 프로빙 (hidden-state probing), 어텐션 분석 (attention analysis), 응답 전략 분류 (response-strategy taxonomy) 등 수렴하는 메커니즘 증거는 행동 선택 (action selection)을 결함의 가장 가능성 있는 위치로 지목합니다. 즉, 위험과 관련된 정보가 내부적으로 표현되고 안전하지 않은 생성 과정에서 강화된 어텐션을 받음에도 불구하고, 출력 행동을 제약하는 데는 실패합니다. 모델이 인식하는 것과 실제로 수행하는 것 사이의 간극은 검색 증강 시스템이 고위험 (high-stakes) 환경에서 신뢰받기 전에 반드시 측정되고 해소되어야 합니다.