문맥 수렴(Context Convergence)이 추론형 질문 답변 능력을 향상시킨다

대규모 언어 모델 (LLMs)이 오픈 도메인 질의응답 (QA) 분야에서 널리 사용되고 있지만, 답변을 직접 검색하기보다 도출해내야 하는 추론형 질문 (inferential questions)을 처리하는 능력은 여전히 충분히 탐구되지 않은 상태로 남아 있습니다. 본 연구는 지문의 구조와 품질이 이러한 질문에 대한 LLM의 성능에 어떠한 영향을 미치는지 조사합니다. 우리는 지문을 구성하는 기준으로 문장(힌트)이 오답을 얼마나 효과적으로 제거하는지를 측정하는 지표인 수렴 (convergence)에 주목합니다. TriviaHG 데이터셋의 하위 집합을 사용하여, 다양한 수렴 수준을 가진 문장들을 결합하여 지문을 형성하고, 서로 다른 크기와 아키텍처를 가진 6개의 LLM을 평가했습니다. 연구 결과, 높은 수렴도를 가진 문장들로 구축된 지문이 코사인 유사도 (cosine similarity)로 선택된 지문보다 답변 정확도 면에서 실질적으로 더 나은 성능을 보였으며, 이는 수렴도가 추론적 추론 (inferential reasoning)을 위한 의미 있는 관련성을 포착함을 나타냅니다. 또한, 문장을 수렴도가 높은 순서대로 배치하는 것이 성능을 약간 향상시키는데, 이는 LLM이 초반의 정보가 풍부한 단서들을 우선시하는 경향이 있음을 시사합니다. 이러한 발견은 수렴도가 지문 구성을 가이드하고 LLM의 추론적 추론 동작을 분석하는 데 있어 실질적인 신호임을 강조합니다.