BioCreative IX의 MedHopQA 트랙 개요: 다중 홉(multi-hop) 의료 질의응답을 위한 트랙 설명, 참여 및 시스템 평가

다중 홉 질의응답 (Multi-hop question answering, QA)은 복잡한 질문에 답하기 위해 여러 소스에 걸친 정보를 통합해야 하므로 생물 의학 분야에서 여전히 중요한 과제로 남아 있습니다. 이 문제를 해결하기 위해, 대규모 언어 모델 (Large Language Models, LLMs)의 다중 홉 추론 (multi-hop reasoning)을 벤치마킹하기 위한 BioCreative IX MedHopQA 공유 과제 (shared task)가 설계되었습니다. 우리는 희귀 질환에 특히 중점을 두어 질병, 유전자 및 화학 물질을 아우르는 1,000개의 도전적인 QA 쌍으로 구성된 새로운 데이터셋을 개발했습니다. 각 질문은 두 개의 서로 다른 Wikipedia 페이지에서 정보를 통합하여 2-홉 (two-hop) 추론을 요구하도록 구성되었습니다. 이 챌린지에는 13개 팀으로부터 48개의 제출물이 접수되었습니다. 시스템은 표면 문자 비교 (surface string comparison)와 개념적 정확도 (conceptual accuracy, MedCPT 점수)를 모두 사용하여 평가되었습니다. 결과는 베이스라인 LLM과 향상된 시스템 사이에 상당한 성능 격차가 있음을 보여주었습니다. 가장 높은 순위를 기록한 제출물은 MedCPT 지표에서 89.30%의 F1 점수와 87.30%의 완전 일치 (Exact Match, EM) 점수를 달성했으며, 이는 제로샷 (zero-shot) 베이스라인의 67.40% 및 60.20%와 대조적입니다. 이번 챌린지의 핵심적인 발견은 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 및 관련 검색 기반 전략이 강력한 성능을 내는 데 결정적이었다는 점입니다. 또한, 정답이 표면 형태(surface form)에서 다를 경우 개념 수준의 평가 (concept-level evaluation)가 답변 평가를 개선했습니다. MedHopQA 데이터셋은 이 중요한 분야의 지속적인 발전을 지원하기 위해 공개적으로 제공됩니다. 챌린지 자료: https://www.ncbi.nlm.nih.gov/research/bionlp/medhopqa 및 벤치마크: https://www.codabench.org/competitions/7609/