지식 그래프 완성을 위한 계층적 구조화 양자화 프레임워크 (GS-Quant)

요약

본 논문은 LLM의 지식 그래프 완성(KGC) 적용 시 발생하는 연속 임베딩과 이산 토큰 간의 모달리티 격차 문제를 해결하기 위해 GS-Quant라는 새로운 양자화 프레임워크를 제안합니다. 기존 방식들이 단순한 수치 압축에 그쳐 의미론적 구조를 놓쳤던 것과 달리, GS-Quant는 엔티티 표현이 '거시(coarse)에서 미세(fine)'의 언어적 논리를 따르도록 설계되었습니다. 이를 통해 계층적 지식을 코드북에 주입하고, 생성적 구조 재구성을 통해 토큰 시퀀스에 인과적 의존성을 부여함으로써, LLM이 그래프 구조를 자연어 생성처럼추

핵심 포인트

• GS-Quant는 엔티티 표현이 '거시(coarse)에서 미세(fine)'의 언어적 논리를 따르도록 설계하여 계층적 지식을 코드북에 주입합니다.
• Granular Semantic Enhancement 모듈을 통해 초기 코드는 전역 의미 범주를 포착하고, 후기 코드가 특정 속성을 정교화하도록 합니다.
• Generative Structural Reconstruction 모듈은 코드 시퀀스에 인과적 의존성을 부과하여 독립적인 이산 단위를 구조화된 의미 설명자로 변환합니다.
• 이 프레임워크는 LLM 어휘를 학습된 코드로 확장하여, 모델이 그래프 구조를 자연어 생성처럼 추론할 수 있게 합니다.