MixRea: 대규모 언어 모델(LLMs)의 명시적-암시적 추론 벤치마킹

요약

본 연구는 LLM이 인간의 '무주의 맹시'와 유사하게 명시적 지침이 주어졌음에도 미묘한 문맥적 단서를 놓치는 현상을 조사합니다. 이를 위해 9가지 추론 유형을 포함한 벤치마크 MixRea를 제안하였으며, Gemini 2.5 Pro를 포함한 주요 모델들이 낮은 일관성을 보임을 확인했습니다. 또한, 간과된 인과 관계를 복구하는 PRCP 프롬프팅 기법을 통해 이러한 추론 한계를 완화할 수 있음을 제시합니다.

핵심 포인트

• LLM이 명시적 지침 하에서도 중요한 암시적 단서를 놓치는 '무주의 맹시' 현상이 존재함
• 9가지 추론 유형과 2,246개의 질문으로 구성된 MixRea 벤치마크 도입
• 최상위 모델인 Gemini 2.5 Pro조차 42.8%의 낮은 일관성을 기록하며 광범위한 한계를 보임
• 잠재적 관계 완성 프롬프팅(PRCP)을 통해 인과 관계를 복구하여 추론 성능을 개선 가능