KoRe: 대규모 언어 모델(LLMs)을 위한 컴팩트한 지식 표현

요약

KoRe는 LLM의 파라미터 내 지식 인코딩 방식이 가진 불투명성과 환각 문제를 해결하기 위해 제안된 새로운 방법론입니다. 1-hop 서브 그래프를 컴팩트한 이산 지식 토큰으로 변환하여 LLM 백본에 주입함으로써, 기존 방식보다 토큰 사용량을 최대 10배 줄이면서도 높은 성능을 유지합니다.

핵심 포인트

• LLM의 파라미터 기반 지식 인코딩 방식이 가진 디버깅 및 업데이트의 어려움과 환각 문제 지적
• 지식 그래프(Knowledge Graph)의 가독성과 편집 가능성을 LLM에 결합하는 접근 방식 제안
• 1-hop 서브 그래프를 컴팩트한 이산 지식 토큰으로 인코딩하여 효율적인 지식 주입 가능
• 벤치마크 테스트 결과, 토큰 사용량을 최대 10배 절감하면서도 경쟁력 있는 성능 입증