해석의 미궁: 교차 언어적 설명에서의 그럴듯함과 충실도 간의 트레이드오프 (Trade-off)

원문 발행 2026. 05. 19. 11:44원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

다국어 LLM이 비영어권 입력을 영어로 설명할 때 발생하는 유창함과 충실도 사이의 트레이드오프를 분석한 연구입니다. 영어 피벗 설명은 인간의 근거와 높은 구간 일치도를 보이지만, 모델의 예측에 대한 인과적 근거인 포괄성과 충분성은 모국어 조건보다 현저히 낮게 나타납니다. 연구 결과, 영어 설명은 실제 결정 추적보다는 의사소통 요약에 가까우며, 입력 언어로 직접 감사할 것을 권장합니다.

핵심 포인트

영어 피벗 설명은 유창하지만 모델의 예측에 대한 인과적 근거(포괄성 및 충분성)가 낮음
영어 설명 사용 시 포괄성이 모국어 조건 대비 최대 5.7배까지 저하될 수 있음
사회적 맥락이 중요한 분류 작업에서 영어 피벗은 화용론적 단서를 보존하지 못함
영어 근거를 결정 추적(Decision traces)이 아닌 의사소통 요약(Communication summaries)으로 취급해야 함

다국어로 배포된 LLM (Large Language Models)은 비영어권 입력에 대해 영어로 된 설명을 통해 감사(Audit)를 받는 경우가 많습니다. 본 연구에서는 ''모델이 생성된 근거(Rationale)와 함께 입력 토큰 구간(Span)을 증거로 식별하는'' 추출적 설명(Extractive explanations)을 평가하며, 체계적인 트레이드오프(Trade-off)를 발견했습니다. 영어 피벗(English-pivot) 설명은 인간의 근거와 더 높은 구간 일치도(Span agreement)를 달성할 수 있지만, 포괄성(Comprehensiveness)과 충분성(Sufficiency)으로 측정했을 때 그 증거가 모델의 예측에 미치는 인과적 근거(Causally grounded)는 더 낮아집니다. 3개의 작업, 5개 언어, 2개의 다국어 LLM 제품군을 대상으로 조사한 결과, 영어 설명은 유창하지만 근거가 느슨하게 고정된(Loosely anchored) 근거를 빈번하게 생성하며, 작업 정확도(Task accuracy)가 모든 설정에서 안정적으로 유지됨에도 불구하고 포괄성이 모국어 조건에 비해 최대 5.7배까지 저하됨을 확인했습니다. 사회적으로 미묘한 차이가 있는 분류(Socially nuanced classification)의 경우, 영어 피벗은 화용론적 단서(Pragmatic cues)를 보존하는 데에도 실패하여 충실도(Faithfulness)와 구간 일치도(Span agreement)를 모두 감소시킵니다. 우리는 설명을 입력 언어로 감사할 것, 어휘적 중첩(Lexical overlap)을 넘어 다각적인 충실도 지표를 보고할 것, 그리고 영어 근거를 충실한 결정 추적(Decision traces)이 아닌 의사소통 요약(Communication summaries)으로 취급할 것을 권장합니다.

AI 자동 생성 콘텐츠

원문 바로가기

해석의 미궁: 교차 언어적 설명에서의 그럴듯함과 충실도 간의 트레이드오프 (Trade-off)

요약

핵심 포인트

댓글