MixRea: 대규모 언어 모델(LLMs)의 명시적-암시적 추론 벤치마킹
요약
본 연구는 LLM이 인간의 '무주의 맹시'와 유사하게 명시적 지침이 주어졌음에도 미묘한 문맥적 단서를 놓치는 현상을 조사합니다. 이를 위해 9가지 추론 유형을 포함한 벤치마크 MixRea를 제안하였으며, Gemini 2.5 Pro를 포함한 주요 모델들이 낮은 일관성을 보임을 확인했습니다. 또한, 간과된 인과 관계를 복구하는 PRCP 프롬프팅 기법을 통해 이러한 추론 한계를 완화할 수 있음을 제시합니다.
핵심 포인트
- LLM이 명시적 지침 하에서도 중요한 암시적 단서를 놓치는 '무주의 맹시' 현상이 존재함
- 9가지 추론 유형과 2,246개의 질문으로 구성된 MixRea 벤치마크 도입
- 최상위 모델인 Gemini 2.5 Pro조차 42.8%의 낮은 일관성을 기록하며 광범위한 한계를 보임
- 잠재적 관계 완성 프롬프팅(PRCP)을 통해 인과 관계를 복구하여 추론 성능을 개선 가능
대규모 언어 모델 (LLMs)은 점점 더 중대한 의사결정 과정에 통합되고 있습니다. 인간 인지에서의 '무주의 맹시 (inattentional blindness)' 이론에서 영감을 받아, 우리는 주의 편향 (attentional biases)이 내재된 인간 선호 코퍼스 (human-preferred corpora)로 학습된 LLM이 이와 유사한 한계, 즉 '명시적인 작업 지침 하에서 미묘하지만 중요한 문맥적 단서에 주의를 기울이지 못하는 현상'을 보이는지 조사합니다. 이를 평가하기 위해, 우리는 '명시적-암시적 추론 (explicit-implicit reasoning)' 작업을 도입하고, 명시적 정보와 암시적 정보의 분포가 다양한 9가지 추론 유형에 걸친 2,246개의 객관식 질문으로 구성된 벤치마크인 MixRea를 제시합니다. 21개의 고급 LLM을 평가한 결과, 가장 성능이 뛰어난 추론 모델인 Gemini 2.5 Pro조차 42.8%의 일관성만을 달성하여, 광범위한 무주의 맹시 현상을 드러냈습니다. 이를 완화하기 위해, 우리는 간과된 인과 관계 (causal relations)를 복구함으로써 추론을 개선하는 프롬프팅 방법인 '잠재적 관계 완성 프롬프팅 (Potential Relation Completion Prompting, PRCP)'을 제안합니다. 추가 분석 결과, 이러한 한계는 다양한 다중 소스 추론 (multi-source reasoning) 작업 전반에 걸쳐 지속됨을 보여주며, 이는 인지적으로 더 정렬된 (cognitively aligned) 모델의 필요성을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기