그래프 토큰화 대형 언어 모델의 재검토: 그래프 토큰 이해에 대한 체계적 평가

요약

기존에 LLM의 성공으로 인해 주목받아 온 그래프 토큰화 대형 언어 모델(GTokenLLMs) 패러다임에 의문을 제기하는 논문입니다. 이 연구는 GTokenLLMs가 자연어 임베딩 공간에서 그래프 토큰을 실제로 완전히 이해하는지 평가하기 위해 'GTEval'이라는 새로운 평가 파이프라인을 제안했습니다. 광범위한 실험 결과, 기존 GTokenLLMs는 그래프 토큰에 대한 이해도가 불완전하며, 명령 변화에 과민하거나 텍스트 정보에 지나치게 의존하는 경향을 보였습니다.

핵심 포인트

• GTokenLLMs가 그래프 데이터를 효과적으로 처리할 수 있다는 기존의 믿음에 도전한다.
• 새로운 평가 프레임워크인 GTEval을 통해 모델의 그래프 토큰 이해도를 체계적으로 측정했다.
• 실험 결과, 대부분의 GTokenLLMs는 그래프 토큰에 대한 완전한 이해를 보여주지 못하며, 명령 변화에 민감하게 반응한다.
• 그래프 토큰은 작업 관련 정보를 보존하지만, 그 활용도는 모델과 프롬프트 변형에 따라 크게 달라진다.