KoRe: 대규모 언어 모델(LLMs)을 위한 컴팩트한 지식 표현
요약
KoRe는 LLM의 파라미터 내 지식 인코딩 방식이 가진 불투명성과 환각 문제를 해결하기 위해 제안된 새로운 방법론입니다. 1-hop 서브 그래프를 컴팩트한 이산 지식 토큰으로 변환하여 LLM 백본에 주입함으로써, 기존 방식보다 토큰 사용량을 최대 10배 줄이면서도 높은 성능을 유지합니다.
핵심 포인트
- LLM의 파라미터 기반 지식 인코딩 방식이 가진 디버깅 및 업데이트의 어려움과 환각 문제 지적
- 지식 그래프(Knowledge Graph)의 가독성과 편집 가능성을 LLM에 결합하는 접근 방식 제안
- 1-hop 서브 그래프를 컴팩트한 이산 지식 토큰으로 인코딩하여 효율적인 지식 주입 가능
- 벤치마크 테스트 결과, 토큰 사용량을 최대 10배 절감하면서도 경쟁력 있는 성능 입증
현대의 대규모 언어 모델 (LLMs)은 질의응답과 같은 사용자 대상 작업에서 인상적인 성능을 보여주었으며, 추론 능력 또한 지속적으로 향상되었습니다. 하지만 이러한 모델들이 지식을 인코딩(encode)하는 방식은 본질적으로 결함이 있는 것으로 보입니다. 설계상 LLMs는 세계 지식을 모델의 파라미터 (parameters) 내에 인코딩합니다. 이러한 지식 표현 방식은 본질적으로 불투명하며, 디버깅과 업데이트가 어렵고, 환각 (hallucinations) 현상이 발생하기 쉽습니다. 반면, 지식 그래프 (Knowledge Graphs)는 인간이 읽을 수 있고 쉽게 편집 가능한 세계 지식 표현을 제공할 수 있으며, 지식 집약적 작업에서의 적용은 다운스트림 (downstream) 성능에 지속적으로 유익하다는 것이 입증되었습니다. 그럼에도 불구하고, 현재의 통합 기술들은 광범위한 재학습 (retraining) 또는 미세 조정 (finetuning)을 요구합니다. 이 문제를 극복하기 위해, 우리는 1-hop 서브 그래프 (sub-graphs)를 컴팩트한 이산 지식 토큰 (discrete knowledge tokens)으로 인코딩하여 LLM 백본 (backbone)에 주입하는 방법론인 KoRe를 소개합니다. 우리는 제안된 접근 방식을 세 가지 확립된 벤치마크 (benchmarks)에서 테스트하였으며, 토큰 사용량을 대폭 감소(최대 10배)시키면서도 경쟁력 있는 성능을 보고합니다. 우리의 결과는 컴팩트한 이산 지식 그래프 (KG) 표현이 현대의 LLMs를 그라운딩 (grounding)하는 데 효율적이고 효과적으로 사용될 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기