제로샷 그래프 추론을 위한 LLM 어텐션 내 구조적 왜곡의 공식화 및 완화

대규모 언어 모델 (LLMs)은 텍스트 속성 그래프 (Text-Attributed Graphs, TAGs)에 대한 추론에서 가능성을 보여주었습니다. 그러나 그래프에 LLM을 적용하려면 구조를 시퀀스로 선형화(linearizing)해야 하며, 이는 그래프 대역폭(graph bandwidth) 문제에 기인한 왜곡을 유발합니다. 이러한 왜곡이 성능을 저하시킨다는 점은 밝혀졌으나, 이는 종종 프롬프트 설계나 모델 규모의 문제로 치부되어 근본적인 메커니즘은 불분명한 상태로 남아 있습니다. 본 연구에서 우리는 회전식 위치 임베딩 (rotary positional embeddings)이 어떻게 그래프 선형화를 대역폭 의존적 어텐션 감쇠 (attention decay)로 변환하여, 직렬화된 시퀀스 내에서 멀리 떨어지도록 강제된 그래프 인접 노드 간의 어텐션을 억제하는지 보여줍니다. 이는 LLM 기반 그래프 추론의 초점을 프롬프트 엔지니어링 및 스케일링에서 어텐션 정렬 불량 (attention misalignment)을 수정하는 방향으로 전환합니다. 이러한 분석에 착안하여, 우리는 LLM을 위한 경량 추론 시 수정 방식인 extbf{G}raph- extbf{a}ligned extbf{L}anguage extbf{A}ttention ( extbf{GaLA})을 제안합니다. GaLA는 LLM의 순차적 귀납 편향 (sequential inductive biases)을 유지하면서 어텐션을 그래프 인접 노드 쪽으로 편향시킵니다. TAG 벤치마크 전반에서 GaLA는 무시할 수 있는 수준의 오버헤드로 성능을 향상시키며, 왜곡이 LLM 기반 그래프 추론에서 수정 가능한 병목 현상임을 입증합니다.