DiagFlowBench: 근거 기반 진단 대화에서 언어 모델이 절차 외 입력을 처리하는 방식에 대한 평가

언어 모델(Language models)은 유지보수 작업에서 조언 시스템으로서의 역할을 점점 더 확대하고 있습니다. 환각(hallucination)을 방지하기 위해, 최근의 시스템들은 이러한 모델들을 절차 문서(procedural documentation)에 근거(grounding)시켜 승인된 단계 내에서만 작동하도록 제한합니다. 그러나 실제 상황에서 작업자의 질의는 종종 이 경로를 벗어나며, 모델은 대화 도중에 범위를 벗어난 입력(out-of-scope inputs)을 인식해야 합니다. 이러한 역학 관계는 현재의 벤치마크(benchmarks)에서 거의 우선순위로 다뤄지지 않는 부분입니다. 우리는 소비자 제조사의 50개 산업용 진단 플로우차트(diagnostic flowcharts)를 준수하는 발화와 범위를 벗어난 발화가 대조되는 1,676개의 다회차 대화(multi-turn conversations)로 변환한 데이터셋인 DiagFlowBench를 소개합니다. 10개의 상용 및 오픈 웨이트(open-weight) 모델 패널을 평가한 결과, 기권율(abstention rates)에서 높은 가변성이 나타났으며, 모델들은 사실을 꾸며내기보다는 실제로는 존재하지만 문맥상 부적절한 단계를 선택하는 경향을 보였습니다. 이렇게 매핑되어 있으나 잘못된 조언이 갖는 내재적인 그럴듯함과 권위는 근거 기반 시스템(grounding systems)에 있어 도전적인 취약점을 드러냅니다.