생물 의학 (biomedical) 영역에서 대규모 언어 모델 (LLMs)을 평가하기 위해서는 추론 (reasoning)과 패턴 매칭 (pattern matching)을 구분할 수 있고, 모델의 능력이 향상됨에 따라 변별력을 유지할 수 있는 벤치마크가 필요합니다. 기존의 생물 의학 질의응답 (QA) 벤치마크들은 이러한 측면에서 한계가 있습니다. 객관식 (Multiple-choice) 형식은 모델이 추론 (inference) 대신 정답 소거법을 통해 성공할 수 있게 하며, 널리 유포된 시험 스타일의 데이터셋들은 성능 포화 (performance saturation) 및 학습 데이터 오염 (training data contamination)에 점점 더 취약해지고 있습니다. 여러 소스의 정보를 통합하여 답을 도출하는 능력으로 정의되는 멀티홉 추론 (Multi-hop reasoning)은 진단 지원, 문헌 기반 발견, 가설 생성과 같이 임상적으로 의미 있는 작업의 핵심이지만, 현재의 생물 의학 QA 벤치마크에서는 충분히 다뤄지지 않고 있습니다.

MedHopQA는 BioCreative IX의 공유 작업 (shared task)으로 소개된, 전문가가 선별한 1,000개의 질문-답변 쌍으로 구성된 질병 중심의 멀티홉 추론 (multi-hop reasoning) 벤치마크입니다. 각 질문은 두 개의 서로 다른 Wikipedia 문서에 걸친 정보의 합성을 요구하며, 답변은 개방형 자유 텍스트 (open-ended free-text) 형식으로 제공됩니다. 골드 어노테이션 (Gold annotations)은 어휘적 (lexical) 평가와 개념 수준 (concept-level) 평가를 모두 지원하기 위해 MONDO, NCBI Gene, 그리고 NCBI Taxonomy의 온톨로지 기반 유의어 세트 (ontology-grounded synonym sets)를 통해 보강되었습니다. MedHopQA는 인간의 주석 달기 (human annotation), 분류 (triage), 반복적 검증 (iterative verification), 그리고 LLM-as-a-judge 검증을 결합한 구조화된 프로세스를 통해 구축되었습니다. 리더보드 조작 (leaderboard gaming)과 오염 위험을 줄이기 위해, 점수가 매겨지는 1,000개의 질문은 정답이 공개되지 않은 채 CodaBench 리더보드 상의 공개 다운로드 가능한 10,000개의 질문 세트 내에 포함되어 있습니다. MedHopQA는 구성적 추론 (compositional reasoning), 포화 저항성 (saturation resistance), 그리고 오염 저항성 (contamination resistance)을 핵심 설계 제약 조건으로 우선시하는 향후 생물 의학 QA 데이터셋 구축을 위한 벤치마크이자 재사용 가능한 프레임워크를 제공합니다.