Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
과학적 데이터로 파인튜닝된 LLM이 오히려 환각 현상을 증가시킨다는 연구 결과를 발표했습니다. SciFactCheck 벤치마크를 통해 파인튜닝된 모델이 사실적 신뢰성이 낮고 더 단정적인 어조를 사용함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 과학적 개념을 전달하고 설명하는 데 점점 더 많이 사용되고 있지만, 이러한 높은 위험이 따르는 사용 사례에서 환각(hallucinate)을 일으키는 경향은 상당한 위험을 초래합니다. 이전의 환각 평가 연구는 주로 생물 의학(biomedical) 도메인에 국한되어 있었고, 환각을 이진(binary) 작업으로 취급했으며, 점점 늘어나고 있는 과학적으로 파인튜닝(fine-tuned)된 LLM 제품군을 조사하지 않았습니다. 우리는 5개의 과학 도메인에 걸친 2,500개의 프롬프트로 구성된 벤치마크인 SciFactCheck과, 검증 불가능성(unverifiability), 과잉 주장(overclaim), 속성 오류(attribution)라는 세 가지 사실성 환각 유형을 대상으로 하는 모듈형 평가 프레임워크를 통해 이러한 격차를 해결합니다. 통제된 최소 쌍 설계(minimal-pairing design)를 사용하여, 우리는 각 과학적 파인튜닝 모델을 일반 목적의 베이스 모델과 비교함으로써 18개의 LLMs를 평가합니다. 우리의 결과는 다음과 같습니다: 1. 과학적으로 파인튜닝된 모델은 모든 환각 유형과 과학 도메인에 걸쳐 사실적 신뢰성이 저하되는 모습을 보이며, 2. 파인튜닝된 모델은 내부적으로는 확신이 덜하지만 언어적으로는 더 단정적(assertive)입니다. 추가적인 인간 파일럿 연구에 따르면, 현재의 팩트 체크(fact-checking) 도구들은 과학적 콘텐츠에 대한 전문가의 판단과 오직 완만한 일치만을 보이며, 과학적으로 검증할 가치가 있는 주장을 정의하는 것은 인간 주석가(annotators)들 사이에서도 여전히 논쟁의 여지가 있음을 보여줍니다. 우리의 연구 결과는 사실성을 위한 현재의 도메인 특화 파인튜닝(domain-specific fine-tuning) 방식에 근본적인 의문을 제기하며, 과학적 콘텐츠를 위한 개선된 검증 인프라 개발을 촉구합니다.