Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 페르시아어 의료 언어 모델에서 주장 수준 환각을 탐지하기 위한 새로운 단일 통과 불확실성 헤드(LUH) 프레임워크를 제안합니다. 이 방법은 비용이 많이 드는 반복 샘플링 없이, 기존 백본 위에 가벼운 헤드를 학습시켜 높은 성능을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기환각 탐지는 특히 의료 언어 모델에 중요하지만, 반복 샘플링 접근 방식은 비용이 많이 들고 기존의 불확실성 헤드 리소스는 새로운 백본(backbone)과 언어에 직접 적용되지 않습니다. 우리는 LLM Uncertainty Head (LUH) 프레임워크를 Aya-Expanse-8B 기반 페르시아어 의료 모델에 적용하고, 이전에 개발된 두 개의 백본인 Gaokerena-V와 Gaokerena-R을 사용합니다. 먼저 168문항의 이란 의료 입학 시험에서 응답 변동성을 조사한 결과, Gaokerena-V가 Aya-Expanse-8B보다 훨씬 낮은 다섯 번 실행 일관성(five-run consistency)을 보였고, Gaokerena-R은 Aya-Expanse-8B와 유사했습니다. 다음으로 페르시아어로 직접 두 개의 쌍을 이루는 주장 수준 환각 데이터셋을 구성했으며, 각 백본에 대해 1,600개의 응답을 포함합니다. 그리고 동결된(frozen) 백본 어텐션 맵과 토큰 확률 위에 가벼운 주장 수준 헤드를 학습시킵니다. 분리된 테스트 스플릿에서 이 헤드들은 각각 무작위 기준선 대비 2.30배와 2.66배에 해당하는 PR-AUC 0.4820 및 0.4652, 그리고 ROC-AUC 0.7852 및 0.7810을 얻었습니다. 이 헤드들은 추론 시 검색(retrieval)이나 반복 샘플링을 필요로 하지 않습니다. 이러한 결과는 페르시아어 의료 언어 모델에 대한 단일 통과 주장 수준 불확실성 추정의 초기 연구를 제공하며, 테스트 스플릿은 작고 레이블은 자동으로 생성되었습니다.