문맥 수렴(Context Convergence)이 추론형 질문 답변 능력을 향상시킨다

요약

본 연구는 대규모 언어 모델(LLMs)이 직접 검색보다 도출해야 하는 추론형 질문에 대한 답변 능력을 향상시키는 방법을 탐구했습니다. 특히, 지문 내 문장들이 오답을 효과적으로 제거하는 정도를 측정하는 '수렴도(convergence)'라는 새로운 지표에 주목했습니다. 연구 결과, 높은 수렴도를 가진 문장들로 구성된 지문이 단순히 코사인 유사도로 선택된 지문보다 추론적 질문 답변 정확도가 더 높았으며, 이는 수렴도가 LLM의 의미 있는 관련성을 포착하는 데 중요한 역할을 함을 보여줍니다.

핵심 포인트

• 추론형 질문(inferential questions) 처리는 LLMs에게 여전히 도전적인 과제이다.
• 문장들이 오답을 효과적으로 제거하는 정도를 측정하는 '수렴도(convergence)'가 핵심 지표로 사용되었다.
• 높은 수렴도를 가진 지문이 단순 유사도 기반 지문보다 추론적 답변 정확도가 높았다.
• 지문의 문장을 수렴도가 높은 순서대로 배치하면 LLM의 성능을 약간 향상시킬 수 있다.