Dynamic Cognitive Reconciliation Decoding을 통한 LLM의 컨텍스트-메모리 충돌 완화

요약

본 논문은 대규모 언어 모델(LLMs)이 축적한 파라미터 지식과 컨텍스트 내 외부 지식이 충돌할 때 발생하는 '지식 충돌' 문제를 해결하기 위한 새로운 2단계 디코딩 방법인 Dynamic Cognitive Reconciliation Decoding (DCRD)를 제안합니다. DCRD는 어텐션 맵 분석을 통해 컨텍스트 충실도를 평가하고 잠재적 충돌을 예측한 후, 탐욕적 디코딩 또는 컨텍스트 충실도 기반 동적 디코딩 중 적절한 경로로 입력을 유도하여 충돌 처리와 효율성을 동시에 확보합니다. 이 방법은 ConflictKG라는 지식 충돌 QA 벤치마크에서 여러 LLM 대비 최첨단 성능을 달성했습니다.

핵심 포인트

• LLMs의 파라미터 지식과 컨텍스트 지식 간의 '지식 충돌' 문제를 해결하는 새로운 접근 방식 제시.
• Dynamic Cognitive Reconciliation Decoding (DCRD)는 2단계 디코딩 방법으로, 어텐션 맵 분석을 통해 컨텍스트 충실도를 평가하고 충돌 여부를 예측한다.
• 충돌 예측에 따라 탐욕적 디코딩 또는 컨텍스트 충실도 기반 동적 디코딩 중 최적의 경로를 선택하여 높은 효율성을 유지한다.
• 지식 충돌 QA 벤치마크인 ConflictKG를 구축하고, DCRD가 기존 베이스라인 대비 우수한 성능을 입증했다.