Neural at ArchEHR-QA 2026: One Method Fits All: EHR 기반 임상 QA를 위한 통합 프롬프트 최적화
요약
본 논문은 전자 건강 기록(EHR) 기반의 자동 질문 답변(QA) 시스템인 Neural1.5를 제시하며, 이는 임상 QA의 네 가지 핵심 하위 과제(질문 해석, 증거 식별, 답변 생성, 증거 정렬)를 다룹니다. 이 접근 방식은 DSPy의 MIPROv2 최적화기를 사용하여 각 단계에 대한 프롬프트를 자동으로 조정하고, 자체 일관성 투표 및 체인-오브-검증과 같은 검증 메커니즘을 결합하여 높은 신뢰성을 확보합니다. 연구 결과는 이 방법이 다면적인 임상 QA를 위한 비용 효율적이고 효과적인 대안임을 입증했습니다.
핵심 포인트
- EHR 기반 QA 시스템은 질문 해석, 증거 식별, 답변 생성, 증거 정렬의 네 가지 복합 하위 과제로 구성된다.
- Neural1.5는 DSPy의 MIPROv2 최적화기를 활용하여 각 단계에 대한 프롬프트를 자동으로 조정하고 고성능을 달성한다.
- 자체 일관성 투표(self-consistency voting)와 체인-오브-검증(chain-of-verification) 같은 검증 메커니즘이 신뢰성과 출력 품질을 크게 향상시킨다.
- 본 방법은 복잡한 임상 QA 태스크에 대해 모델 미세 조정보다 비용 효율적이고 효과적인 프롬프트 최적화 전략임을 입증했다.
전자 건강 기록(EHR)에 대한 자동 질문 답변(QA)은 정확한 증거 검색, 충실한 답변 생성, 그리고 답변을 임상 노트에 명시적으로 근거하는 것을 요구합니다. 본 논문에서는 CL4Health@LREC 2026의 ArchEHR-QA 2026 공동 과제에서 사용할 저희 방법인 Neural1.5를 제시하며, 이 과제는 질문 해석(question interpretation), 증거 식별(evidence identification), 답변 생성(answer generation), 그리고 증거 정렬(evidence alignment)의 네 가지 하위 과제로 구성됩니다. 저희 접근 방식은 작업을 독립적이고 모듈식 단계로 분리하고, DSPy의 MIPROv2 최적화기(optimizer)를 사용하여 각 단계에 대한 지침과 소수 예시(few-shot demonstrations)를 공동으로 조정하여 고성능 프롬프트를 자동으로 발견합니다. 모든 단계 내에서 여러 확률적 추론 실행(stochastic inference runs)에 걸친 자체 일관성 투표(self-consistency voting)는 허위 오류를 억제하고 신뢰성을 향상시키며, 단계별 검증 메커니즘(예: 정교화(self-reflection) 및 정렬을 위한 체인-오브-검증(chain-of-verification))은 출력 품질을 더욱 개선합니다. 네 가지 하위 과제 모두에 참여한 모든 팀 중에서, 저희 방법은 전체적으로 두 번째 순위(평균 순위 4.00)를 차지했으며, 각각 하위 과제 1~4에서 4위, 1위, 4위, 7위를 기록했습니다. 이러한 결과는 체계적인 단계별 프롬프트 최적화와 자체 일관성 메커니즘을 결합하는 것이 다면적인 임상 QA를 위한 모델 미세 조정(model fine-tuning)에 대한 비용 효율적인 대안임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기