신뢰할 수 없는 파라미터 및 문맥 지식 탐색: LLM 추론을 위한 명시적 지식 충돌 해결

대규모 언어 모델 (LLMs)은 광범위한 파라미터 지식 (Parametric Knowledge)과 인컨텍스트 학습 (In-context Learning) 능력을 모두 활용함으로써 다양한 언어 기반 작업에서 강력한 성능을 달성했으며, 이를 통해 입력 프롬프트에 제공된 외부 정보를 통합할 수 있게 되었습니다. 그러나 외부 지식의 통합은 모델의 내부 파라미터 지식과 외부 정보 사이뿐만 아니라, 여러 개의 외부 문맥 (Contexts) 사이에서도 충돌을 일으킬 수 있습니다. 기존 방식들은 일반적으로 모델이나 제공된 문맥 중 하나가 신뢰할 수 있다고 가정하며, 두 소스 모두 오류를 포함할 수 있는 가능성을 간과합니다. 또한, 불일치를 능동적으로 해결하기보다는 한 소스에 우선권을 부여함으로써 충돌을 회피합니다. 이러한 한계를 해결하기 위해, 우리는 기존의 이진 선택 패러다임을 넘어 멀티 에이전트 추론 (Multi-agent Reasoning) 접근 방식에 기반한 명시적 충돌 해결 메커니즘을 포함하는 LLM 지식 충돌 해결을 위한 새로운 프레임워크인 MACR을 제안합니다. 구체적으로, 우리는 먼저 주어진 쿼리에 대한 LLM의 답변 신뢰도를 정량화하기 위해 수정된 의미론적 엔트로피 (Semantic Entropy) 측도를 사용하는 적응형 지식 평가 및 검색 접근 방식을 제안합니다. 이 신뢰도 추정치를 바탕으로, MACR은 모델의 내부 지식을 텍스트 표현으로 외재화하거나, 내부 지식이 불충분할 때 관련 외부 지식을 검색하여 후속 추론을 위한 기본 문맥을 생성합니다. 그런 다음, 우리는 명시적 규칙을 유도하고, 잠재적 충돌을 분석하며, 사용 가능한 모든 문맥 간의 불일치를 해결하는 세 가지 전문 에이전트로 구성된 귀납적 멀티 에이전트 추론 프레임워크를 도입합니다. 실험 결과, MACR은 벤치마크 전반에서 최신 베이스라인 (Baselines) 모델들을 크게 능가하는 동시에, 명시적 충돌에 대한 해석 가능한 해결책을 제공함을 입증했습니다.