과학적 참신성 평가를 위한 LLM-as-Judge의 한계에 대하여

LLM은 과학적 아이디어를 생성하고 판단하는 데 점점 더 많이 사용되고 있습니다. 이로 인해 참신성(novelty) 평가는 핵심적인 문제가 됩니다. 전체 아이디어 평가는 종종 방법론, 그 실현 가능성, 그리고 경험적 잠재력을 판단해야 하므로 어렵습니다. 따라서 우리는 보다 명확한 상위 객체인 연구 질문(Research Question, RQ)을 연구합니다. RQ 생성은 과학적 아이디어 구상의 전제 조건이며, RQ는 실제 논문에서 다루어진 질문과 비교될 수 있습니다. 우리는 최근 arXiv 논문을 기반으로 구축된 벤치마크인 RQ-Bench를 소개합니다. 각 논문에 대해, 우리는 인용된 배경 지식(background), 연구 격차(gaps), 그리고 기여(contributions)로부터 저자 중심의 RQ를 재구성합니다. 이러한 RQ가 동일한 배경에 대한 유일하게 타당한 질문은 아닙니다. 이것들은 참신성 판단을 테스트하기 위한 저자 중심의 기준점입니다. 우리는 독립적인 LLM 판정, 비교적 LLM 판정, 그리고 인간 전문가 평가를 통해 모델이 생성한 RQ를 평가합니다. LLM 판정가들은 일관되게 모델이 생성한 RQ를 매우 참신하다고 평가하여 '참신성 환상(novelty mirage)'을 만들어내며, 비교 평가에서는 이러한 선호도가 더욱 강해집니다. 그러나 도메인 전문가는 정반대의 결론에 도달하며 저자 중심의 기준 질문들을 더 선호합니다. 또한 우리는 많은 생성된 RQ가 좁거나 출처에 국한되어 있다는 것을 발견했는데, 이는 LLM 판정가들이 명시적으로 테스트하지 않는 한 종종 놓치는 차원입니다. 전반적으로, LLM 판정가와 인간 전문가 간의 모순되는 참신성 평가는 연구 질문의 과학적 참신성을 평가하는 데 LLM을 사용하는 것의 신뢰성에 심각한 우려를 제기합니다.