KARLA: 언어 모델을 위한 지식 베이스 증강 검색 (Knowledge-base Augmented Retrieval)
요약
LLM이 토큰 생성 과정에서 지식 베이스로부터 사실적 지식을 자동으로 가져올 수 있는 KARLA 방법론을 제안합니다. 특수 토큰을 통해 지식 베이스 쿼리를 트리거함으로써 모델 재학습 없이도 지식 업데이트와 설명 가능성을 확보할 수 있습니다.
핵심 포인트
- 특수 토큰을 활용한 지식 베이스 쿼리 트리거 방식 제안
- 모델 재학습 없이 지식 베이스 편집만으로 사실 관계 업데이트 가능
- 출력 결과에 대한 투명성 및 설명 가능성(Explainability) 향상
- 소형 모델의 사실적 정확도를 대형 모델 수준으로 개선
우리는 LLM(Large Language Model)이 토큰 생성 과정에서 지식 베이스(Knowledge Base)로부터 사실적 지식을 자동으로 가져올 수 있도록 하는 새로운 방법을 제안합니다. 이는 (1) LLM을 재학습시키지 않고도 LLM 출력 내의 사실적 지식을 업데이트할 수 있고, (2) LLM 출력의 사실 관계를 투명성과 설명 가능성(Explainability)을 위해 지식 베이스로 추적할 수 있으며, (3) 더 작은 모델이 더 큰 모델과 동일한 사실적 정확도를 달성할 수 있음을 의미합니다. 우리의 핵심 아이디어는 지식 베이스에 대한 쿼리(Query)를 트리거하는 특수 토큰(Special tokens)을 생성하도록 모델을 학습시키는 것입니다. 우리의 실험은 이 방법이 단문 및 장문 생성 모두에서 사실적 근거(Factual grounding)를 개선하며, 파라미터 업데이트(Parameter updates) 대신 지식 베이스(KB) 편집을 통해 사실적 수정이 효과를 발휘할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기