BIT.UA-AAUBS 팀의 ArchEHR-QA 2026 공동 참여: 저자원 QA 환경에서의 오픈소스 및 상용 LLM 평가

요약

BIT.UA와 AAUBS 팀이 저자원 의료 QA 환경인 ArchEHR-QA 2026 공유 과제에 참여하여 LLM 평가를 수행했습니다. 이 연구는 데이터 부족과 엄격한 프라이버시 제약이 있는 의료 분야에서, 가중치 업데이트 없이 다양한 프롬프트 엔지니어링 전략을 사용하여 상용 및 오픈소스 LLM의 성능을 비교 분석합니다. 그 결과, 상용 모델은 전반적인 견고성을 보였으나, 도메인 적응형 오픈소스 모델(예: MedGemma 3 27B)이 최적화된 프롬프트와 결합했을 때 매우 경쟁력 있는 성능을 보여주었으며, 특히 증거 인용 정렬에서 우수한 성과를 거두었습니다.

핵심 포인트

• 의료 분야 QA는 데이터 부족 및 GDPR 같은 엄격한 프라이버시 제약으로 인해 가중치 업데이트 없이 LLM 평가가 필수적이다.
• 다양한 프롬프트 엔지니어링 기법(CoT, 작업 분해 등)을 적용하여 상용 모델과 오픈소스 모델의 성능을 체계적으로 비교했다.
• 상용 LLM은 전반적인 견고성을 보였으나, 도메인 특화 오픈소스 모델이 적절한 프롬프트와 결합할 경우 매우 경쟁력 있는 성능을 발휘한다.
• 앙상블 기법(다수 투표, LLM-as-a-judge)과 프롬프트 기반 접근 방식의 효과성을 입증하며, 특히 증거 인용 정렬 등 특정 하위 과제에서 높은 순위를 차지했다.