문맥이 오해를 불러일으킬 때: LLM의 일관성 착각 지표로서의 Surprisal, Energy 및 Attention Entropy
요약
인간이 겪는 '일관성 착각' 현상이 LLM에서도 나타나는지 조사한 연구입니다. Surprisal, Attention Entropy, Energy 지표를 통해 모델이 문맥의 비일관성을 어떻게 처리하는지 분석했습니다.
핵심 포인트
- LLM에서도 이전 문맥과 일치하는 방해 요소가 있으면 비일관성을 인지하지 못하는 착각이 발생함
- 핵심 단어에서의 Surprisal 수치가 인간의 수용성 판단 및 안구 추적 데이터와 높은 상관관계를 보임
- Attention Entropy를 통해 일관성 판단에 관여하는 특정 어텐션 헤드를 식별할 수 있음
- 담화 일관성 정량화를 위해 연상 메모리 개념인 Energy 지표를 도입함
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1