터키어 증거형 (Evidential Morphology) 의 출처 민감성 검증: 신뢰도 조작 하에서 인간과 대형 언어 모델 (LLMs)

요약

본 연구는 터키어의 증거형(evidential morphology)이 정보 출처의 신뢰성에 민감하게 반응하는지, 그리고 대규모 언어 모델(LLMs)이 이러한 인간의 인지적 패턴을 얼마나 잘 모방하는지를 탐구합니다. 실험 결과, 터키어 원어민은 정보 출처에 대한 '신뢰 효과'를 명확히 보여, 높은 신뢰성 문맥에서는 한 형태(-DI)가, 낮은 신뢰성 문맥에서는 다른 형태(-mIs)가 더 자주 사용되는 경향을 보였습니다. 반면, LLMs는 모델과 프롬프트 방식에 따라 행동이 크게 달라지며, 전반적으로 불안정하고 일관성이 부족하여 인간의 출처 민감한 추론 능력을 완전히 재현하지 못하는 것으로 나타났습니다.

핵심 포인트

• 터키어 원어민은 정보 출처의 인지된 신뢰도에 따라 증거형 접미사 사용 패턴에서 일관되고 견고한 '신뢰 효과'를 보인다.
• LLMs는 오픈 갭 필, 명시적 과거 시제 갭 필 등 다양한 프롬프팅 패러다임 하에서 출처 민감성을 평가되었으나, 그 행동이 모델 및 프롬프트에 크게 의존하며 일관성이 떨어진다.
• LLM의 증거형 사용 패턴은 종종 불안정하고, 기본률 선호도나 출력 준수 문제에 가려져 인간과 명확한 격차를 보인다.
• 본 연구 결과는 터키어 증거성에 대한 신뢰/약속 기반 설명(trust-/commitment-based account)을 뒷받침하는 새로운 언어학적 증거를 제공한다.