Dynamic Cognitive Reconciliation Decoding을 통한 LLM의 컨텍스트-메모리 충돌 완화

대규모 언어 모델 (Large language models, LLMs)은 사전 학습 (pre-training)을 통해 광범위한 파라미터 지식 (parametric knowledge)을 축적합니다. 그러나 오래되었거나 부정확한 파라미터 지식이 컨텍스트 (context) 내의 외부 지식과 충돌할 때 지식 충돌 (knowledge conflicts)이 발생합니다. 기존 방법들은 대조적 디코딩 (contrastive decoding)을 통해 지식 충돌을 해결하려 하지만, 충돌이 없는 시나리오에서는 정적 (static) 방식이 출력 분포를 방해합니다. 다른 동적 디코딩 (dynamic decoding) 방법들은 충돌의 정도를 측정하려고 시도하지만, 여전히 복잡한 실제 상황에서는 어려움을 겪습니다. 본 논문에서는 컨텍스트-메모리 충돌을 예측하고 완화하기 위해 Dynamic Cognitive Reconciliation Decoding (DCRD)라고 불리는 2단계 디코딩 방법을 제안합니다. DCRD는 먼저 어텐션 맵 (attention map)을 분석하여 컨텍스트 충실도 (context fidelity)를 평가하고 잠재적 충돌을 예측합니다. 이 예측을 바탕으로 입력은 다음 두 가지 디코딩 경로 중 하나로 유도됩니다: (1) 탐욕적 디코딩 (greedy decoding), 또는 (2) 컨텍스트 충실도 기반 동적 디코딩 (context fidelity-based dynamic decoding). 이러한 설계는 DCRD가 충돌을 효율적으로 처리하는 동시에, 충돌이 없는 경우에도 높은 정확도와 디코딩 효율성을 유지할 수 있게 합니다. 또한, 빈번한 지식 업데이트가 발생하는 시나리오를 시뮬레이션하기 위해, 지식 충돌 QA 벤치마크인 ConflictKG를 구축했습니다. 6개의 QA 데이터셋에 대해 4개의 LLM을 대상으로 실험한 결과, DCRD는 모든 베이스라인 (baselines)을 능가하며 최첨단 (state-of-the-art) 성능을 달성했습니다.