DYNA: 연속 학습(Continuous Learning) 시 시계열 지식 그래프(Temporal Knowledge Graphs)를 통해
요약
DYNA는 동결된 LLM이 새로운 지식을 효율적으로 통합할 수 있도록 시계열 지식 그래프(Temporal Knowledge Graph)를 활용하는 경량 프레임워크입니다. 외부 메모리 역할을 하는 그래프를 통해 재학습 없이도 망각 문제를 완화하고 시간적 맥락을 보강합니다.
핵심 포인트
- 시계열 지식 그래프를 활용한 LLM 보강 프레임워크 제안
- 미세 조정 대비 치명적 망각 현상을 약 7% 감소시킴
- 표준 RAG 대비 시간적 순서 파악 성능을 약 5% 개선
- 그래프 구조 및 속성이 검색 성능의 핵심 예측 인자임을 입증
대규모 언어 모델(LLMs)은 망각(forgetting)이나 비용이 많이 드는 재학습(retraining) 없이 새로운 지식을 통합하는 데 어려움을 겪습니다. 우리는 이벤트가 노드(node)이고 시간적 관계가 방향성이 있고 타임스탬프가 찍힌 에지(edge)인 시계열 지식 그래프(temporal knowledge graph)를 통해 동결된(frozen) LLM을 보강하는 경량 프레임워크인 DYNA를 제안합니다. 이 그래프는 외부의 업데이트 가능한 메모리 역할을 합니다. 쿼리 시점에 DYNA는 랜덤 워크(random walks)와 중심성 측정(centrality measures)을 통해 관련 노드를 검색한 다음 LLM의 응답을 보강합니다. 세 가지 시계열 회상(temporal recall) 작업에서 평가했을 때, DYNA는 미세 조정(fine-tuning) 대비 치명적 망각(catastrophic forgetting)을 약 7% 줄였으며, 표준 RAG 대비 시간적 순서(temporal ordering)를 약 5% 개선했습니다. 더 높은 그래프 클러스터링 계수(graph clustering coefficients)는 더 나은 검색과 상관관계가 있으며, 이는 그래프 구조가 중요하다는 것을 보여줍니다. 기여 사항: (1) 시계열 지식 그래프(temporal KG)로서의 에피소드 메모리(episodic memory), (2) 재학습이 필요 없는 LLM 보강(augmentation), (3) 검색 성능의 예측 인자로서의 그래프 속성(graph properties).
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기