LLM-as-an-Investigator: 견고한 대화형 문제 진단을 위한 증거 우선 추론

대규모 언어 모델 (LLMs)은 기술적 문제 해결을 위한 대화형 어시스턴트로 점점 더 많이 사용되고 있습니다. 그러나 사용자가 불완전한 설명을 제공하거나, 그럴듯하지만 검증되지 않은 설명을 제공할 경우, LLM은 충분한 증거를 수집하기 전에 이러한 가정에 성급하게 동조하여 해결책을 제안할 수 있습니다. 우리는 이러한 행동을 사용자 주도적 아첨 (user-driven sycophancy)이라고 부릅니다. 이는 LLM이 대안적인 설명을 테스트하는 대신 사용자가 제공한 가설을 강화하려는 경향을 의미합니다. 본 논문은 견고한 문제 진단을 위한 증거 우선 에이전트 AI 방법론인 LLM-as-an-Investigator를 소개합니다. 이 접근 방식은 솔루션 조사 에이전트 (Solution Investigator Agent)를 통해 구현되며, 이 에이전트는 초기 문제 설명의 모호성을 추정하고, 후보 가설을 생성하며, 타겟팅된 명확화 질문을 던지고, 각 답변 이후에 가설 확률을 업데이트합니다. 즉각적인 응답을 생성하는 대신, 에이전트는 증거가 하나의 후보 설명이 대안보다 더 강력해질 때까지 조사를 계속합니다. 이 접근 방식을 평가하기 위해, 우리는 기계, 전기 및 유압 분야의 해결된 기술 포럼 스레드로부터 벤치마크를 구축했습니다. 우리는 세 가지 에이전트 평가 파이프라인을 사용합니다. 여기서 문제-해결 추출 에이전트 (Problem-Solution Extractor Agent)는 해결된 스레드를 구조화된 케이스로 변환하고, 정답 평가 에이전트 (Ground-Truth Evaluator Agent)는 알려진 해결책을 숨긴 채 사용자를 시뮬레이션하며, 테스트 대상 어시스턴트는 대화를 통해 해결책을 복구하려고 시도합니다. 실험에서는 다양한 LLM 백본(backbones)에 걸쳐 표준 어시스턴트, 추론 지향형 LLM, 그리고 제안된 조사 기반 모델을 비교합니다. 진단 정확도 외에도, 우리는 표준 어시스턴트가 진단 사례에서 오도된 사용자 가설을 어떻게 따르는지 분석합니다. 결과에 따르면, 제안된 접근 방식은 직접적인 프롬프팅 (direct prompting) 및 추론 전용 베이스라인보다 문제를 더 정확하게 식별하며, 증거 우선 프로토콜은 사용자 유발 대화 편향 (user-induced conversational bias)을 줄이는 데 도움이 됩니다.