SCICONVBENCH: 계산 과학의 작업 정식화를 위한 다회차 명확화(Multi-Turn Clarification)에 대한 LLM 벤치마킹

요약

SCICONVBENCH는 계산 과학 분야에서 불명확한 사용자 요청을 정제하기 위한 LLM의 다회차 명확화(multi-turn clarification) 능력을 평가하는 새로운 벤치마크입니다. 유체 역학, 재료 과학 등 네 가지 영역을 대상으로 모호성 해소와 불일치 해결 능력을 측정하며, 현재의 최첨단 모델들이 여전히 모호성 해소와 암묵적 가정 문제에서 한계를 보임을 입증합니다.

핵심 포인트

• 계산 과학의 실제 환경처럼 불명확하게 정의된(ill-posed) 요청을 다루는 상류 단계 대화 추론 평가에 집중함
• 모호성 해소(disambiguation)와 불일치 해결(inconsistency resolution)이라는 두 가지 핵심 능력을 목표로 함
• 구조화된 작업 온톨로지와 루브릭 기반 프레임워크를 통해 명확화 행동, 대화 근거, 최종 사양 충실도를 체계적으로 측정함
• 최첨단 모델들이 유체 역학의 모호성 해소에서 낮은 성능을 보이며, 대화에 근거하지 않은 암묵적 사양 수정을 수행하는 경향이 있음을 발견함