헬스케어 LLM 벤치마크는 명시적 가정만큼만 유효하다

벤치마크 (Benchmarks)는 헬스케어 평가를 위해 필수적이지만, 실제 배포 성능 (deployment performance)을 예측하기에는 충분하지 않습니다. 우리의 입장은 평가와 배포 사이의 간극 (evaluation--deployment gap)이 벤치마크 설계가 잘못되었기 때문이 아니라, 벤치마크만으로는 드러낼 수 없는 사용자와 모델 간의 상호작용 방식에 대한 암묵적 가정 (implicit assumptions) 때문에 발생한다는 것입니다. 이를 정밀하게 만들기 위해, 우리는 가정을 두 가지 범주로 분류할 것을 제안합니다: 대화 데이터 (conversation data)만으로 테스트할 수 있는 작업 (task) 가정, 그리고 테스트를 위해 결과 데이터 (outcome data)와 행동 연구 (behavioral studies)가 필요한 결과 (outcome) 가정입니다. 결정적으로, 결과 가정은 인간의 행동에 의존하며, 이는 잘 설계된 벤치마크조차 직접 관찰할 수 없는 요소입니다. 이 프레임워크의 실행 가능성을 입증하기 위해, 우리는 헬스케어 무작위 대조 시험 (RCT)을 사례 연구로 사후 분석하였으며, 그 결과 간극이 자연스럽게 작업 간극 (task gap)과 결과 간극 (outcome gap)으로 거의 비슷한 크기로 나뉜다는 것을 발견했습니다. 이를 해결하기 위해 우리는 두 가지 기여를 합니다: 첫째, 가정을 문서화하는 산출물인 BenchmarkCards를 제안하며, 둘째, 가정을 체계적으로 테스트하고 성능을 평가하는 절차인 단계별 평가 (staged evaluation)를 제안합니다.