Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
근거 기반 진단 대화에서 언어 모델이 절차 외 입력을 처리하는 능력을 평가하는 새로운 벤치마크 DiagFlowBench를 소개합니다. 10개의 모델을 평가한 결과, 모델들이 사실을 꾸며내기보다 문맥에 부적절한 단계를 선택하는 취약점이 발견되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델(Language models)은 유지보수 작업에서 조언 시스템으로서의 역할을 점점 더 확대하고 있습니다. 환각(hallucination)을 방지하기 위해, 최근의 시스템들은 이러한 모델들을 절차 문서(procedural documentation)에 근거(grounding)시켜 승인된 단계 내에서만 작동하도록 제한합니다. 그러나 실제 상황에서 작업자의 질의는 종종 이 경로를 벗어나며, 모델은 대화 도중에 범위를 벗어난 입력(out-of-scope inputs)을 인식해야 합니다. 이러한 역학 관계는 현재의 벤치마크(benchmarks)에서 거의 우선순위로 다뤄지지 않는 부분입니다. 우리는 소비자 제조사의 50개 산업용 진단 플로우차트(diagnostic flowcharts)를 준수하는 발화와 범위를 벗어난 발화가 대조되는 1,676개의 다회차 대화(multi-turn conversations)로 변환한 데이터셋인 DiagFlowBench를 소개합니다. 10개의 상용 및 오픈 웨이트(open-weight) 모델 패널을 평가한 결과, 기권율(abstention rates)에서 높은 가변성이 나타났으며, 모델들은 사실을 꾸며내기보다는 실제로는 존재하지만 문맥상 부적절한 단계를 선택하는 경향을 보였습니다. 이렇게 매핑되어 있으나 잘못된 조언이 갖는 내재적인 그럴듯함과 권위는 근거 기반 시스템(grounding systems)에 있어 도전적인 취약점을 드러냅니다.