논리적 규칙을 이용한 지식 편집 (Knowledge Editing) 벤치마킹

대규모 언어 모델 (LLMs)은 최신 지식에 대한 접근이 필요한 실제 애플리케이션에 점점 더 많이 배치되고 있습니다. 그러나 LLMs를 재학습시키는 것은 계산 비용이 많이 듭니다. 따라서 지식 편집 (knowledge editing) 기술은 사전 학습된 모델 내에서 최신 정보를 유지하고 잘못된 주장을 수정하는 데 매우 중요합니다. 현재의 지식 편집 벤치마크는 주로 편집된 사실을 회상하는 데 집중하며, 그에 따른 논리적 결과 (logical consequences)는 종종 간과합니다. 이러한 한계를 해결하기 위해, 우리는 단일 사실 편집의 논리적 결과를 지식 편집 방법들이 어떻게 처리하는지 평가하도록 설계된 새로운 벤치마크를 소개합니다. 우리의 벤치마크는 주어진 편집에 대해 지식 그래프 (knowledge graph)로부터 관련 논리 규칙을 추출합니다. 그런 다음, 논리적 결과에 미치는 영향을 평가하기 위해 이러한 규칙을 기반으로 멀티홉 (multi-hop) 질문을 생성합니다. 우리의 연구 결과에 따르면, 기존의 지식 편집 방식들이 LLMs에 직접적인 주장 (direct assertions)을 정확하게 삽입할 수는 있지만, 함축된 지식 (entailed knowledge)을 주입하는 데는 자주 실패하는 것으로 나타났습니다. 구체적으로, ROME 및 FT와 같은 대중적인 방법들을 사용한 실험 결과, 직접 편집된 지식에 대한 평가와 함축된 지식에 대한 평가 사이에 최대 24%에 달하는 상당한 성능 격차가 있음이 드러났습니다. 이는 지식 편집에 있어 의미론적 인지 (semantics-aware) 평가 프레임워크의 결정적인 필요성을 강조합니다.