그래프 토큰화 대형 언어 모델의 재검토: 그래프 토큰 이해에 대한 체계적 평가

대형 언어 모델 (LLMs) 의 놀라운 성공은 연구자들이 이를 다양한 그래프 작업으로 보편 예측자로 적응하도록 동기를 부여했습니다. 널리 인정받는 패러다임인 그래프 토큰화 대형 언어 모델 (GTokenLLMs) 은 복잡한 그래프 데이터를 그래프 토큰으로 압축하고, 이를 LLMs 쿼리에 대한 접두서로 처리하여 많은 사람들이 LLMs 가 그래프를 더 효과적이고 효율적으로 이해할 수 있다고 믿게 했습니다. 이 논문에서는 이러한 믿음을 도전합니다: extit{GTokenLLMs 은 자연어 임베딩 공간에서 그래프 토큰을 완전히 이해합니까?} 이 질문에 의해 동기를 부여하여, 우리는 GTokenLLMs 의 통합 프레임워크를 공식화하고, 형식 및 내용 수준에서의 명령 변환을 통해 그래프 토큰 이해도를 평가하는 extbf{GTEval} 평가 파이프라인을 제안했습니다. 우리는 6 개의 대표적 GTokenLLMs 에 대해 GTEval 을 사용하여 광범위한 실험을 수행했습니다. 주요 발견은 다음과 같습니다: (1) 기존 GTokenLLMs 은 그래프 토큰을 완전히 이해하지 않습니다. 그들은 명령 변화에 과민성 또는 과감성 (over-sensitivity or over-insensitivity) 을 보이며, 추론을 위해 텍스트에 크게 의존합니다; (2) 그래프 토큰은 작업 관련 그래프 정보를 보존하고 LLM 레이어 전반에 걸쳐 주의를 받지만, 그 활용도는 모델 및 명령 변형에 따라 다릅니다; (3) 추가적인 명령 튜닝은 원본 및 보인 명령의 성능을 개선할 수 있지만, 그래프 토큰 이해의 도전을 완전히 해결하지는 못하며, 더 나은 개선이 필요합니다.