오픈 웨이트(open-weight) 검색 에이전트조차도 인용하는 증거 자료가 무너져 내리는 상황에서도 계속해서 답변을 외치는 모습을 보이며, 이는 명백한 신뢰성 경고에도 불구하고 남아있는 체계적인 과신을 드러냅니다. 이러한 현상은 출처 문서가 대규모로 의도적으로 손상되었을 때만 눈에 띄는데, 이는 표준 벤치마크에서는 거의 수행하지 않는 작업입니다. DeepStress는 이러한 실패 모드를 명확히 보여줍니다 []1.
이 연구 이전까지 대부분의 평가는 검색된 구절들이 정확하거나 적어도 그럴듯하게 유용하다고 가정했으며, 성공 여부를 이진적인 맞음/틀림 점수로 측정했습니다. 연구자들은 에이전트가 기반 자료에 오류가 가득 찼을 때 어떻게 반응하는지 탐색하지 않은 채, 검색 단계가 확실한 사실적 기반을 제공할 것이라고 신뢰하며 검색 후 생성(retrieve then generate) 파이프라인을 구축했습니다.
검색 모듈이 완전히 신뢰할 수 없다고 레이블링된 문서를 반환하더라도, 테스트된 모든 시스템은 여전히 많은 실행에서 확정적인 답변을 내놓습니다. 저자들은 “전반적으로, 낮은 신뢰도의 문서들이 매우 명확하고 때로는 거의 만화 같은 낮은 신뢰도 신호를 포함함에도 불구하고, 모든 시스템은 0%의 신뢰도에서도 많은 실행에서 추론을 보류하지 않는 최종 답변을 제공합니다”라고 언급했습니다 []1.
출처의 신뢰도가 무너짐에 따라 정확도는 평탄하게 유지되며, 이는 Search-R1의 성능에서 예시적으로 나타납니다: 이 시스템은 전체 신뢰도 스펙트럼에 걸쳐 78%와 80% 사이를 오가며 정확도를 유지하며, 추론 보류율(abstention rate)에는 식별 가능한 변화가 없습니다. 논문은 “예를 들어, Search-R1은 모든 신뢰도 수준에서 78%와 80% 사이의 정확도를 유지하며, 추론 보류율에 명확한 변화가 없습니다”라고 지적했습니다 []1.
이 연구는 이러한 과도한 자신감(over-confidence)이 자연적인 노이즈 환경이나 더 큰 모델 패밀리에서도 지속되는지 확인하지 못합니다. 이는 HotpotQA와 BrowseComp-Plus에서 합성적 저하(synthetic degradations)만을 평가했으며, 중간 불확실성 신호(intermediate uncertainty signals)보다는 최종 답변 신뢰도에 초점을 맞췄기 때문입니다. 결과적으로, 우리는 서로 다른 프롬프팅 트릭이나 메모리 증강 라우팅(memory-augmented routing)을 사용하는 프로덕션 어시스턴트에서도 동일한 취약성이 나타날 것이라고 아직 주장할 수 없습니다.
안전 파이프라인(Safety pipelines)은 검색된 증거가 최소 신뢰 임계값(minimal trust threshold) 이하로 떨어질 때 에이전트가 기권하도록 강제하는 신뢰도 필터(credibility filter)를 적용해야 하며, 벤치마크는 표준적인 검증 절차로서 DeepStress와 같은 스트레스 테스트 체제를 채택해야 합니다.
참고문헌
- DeepStress: Stress-Testing Deep Search Agents