그래프 상의 테스트 시간 컴퓨팅을 위한 적응형 순환 메시지 전달 (Adaptive Recurrent Message Passing)

사전 학습된 파운데이션 모델 (Pre-trained foundation models)은 많은 영역에서 놀라운 성공을 거두며, 통일된 백본 (backbone)이 다양한 다운스트림 태스크 (downstream tasks)에 걸쳐 일반화될 수 있음을 보여주었습니다. 그러나 그래프 데이터와 고정된 아키텍처 설계 사이의 본질적인 불일치로 인해, 이러한 패러다임을 그래프 학습으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 순환 그래프 모델 (recurrent graph models)을 통해 이러한 한계를 극복할 수 있음을 보여줍니다. 이를 달성하기 위해, 우리는 체계적인 이론적 분석을 수행하여, 적응적으로 수렴하는 순환 과정 (recurrent process)을 위한 필요충분조건으로서 단계 의존성 (step dependence)을 엄밀하게 도출합니다. 이러한 토대 위에, 우리는 모델 파라미터 (model parameters)를 변경하지 않고도 다양한 다운스트림 태스크에서 유연한 테스트 시간 컴퓨팅 (test-time computing)을 가능하게 하는 적응형 순환 그래프 모델인 AdaR을 제안합니다. 적응형 추론 (adaptive inference)을 가능하게 하기 위해, AdaR은 정규화된 단계 정보 (normalized step information)와 표현-타겟 관계 (representation-target relations)를 순환 업데이트 (recurrent updates)에 명시적으로 인코딩합니다. 순환 과정의 수렴을 보장하기 위해, AdaR은 순환 과정 전반에 걸쳐 표현 업데이트 (representation updates)를 안내하는 그래디언트 기반 감독 신호 (gradient-based supervision signals)를 채택합니다. 실험 결과, AdaR은 귀납적 (inductive) 및 전이적 (transductive) 설정 모두에서 강력한 베이스라인 (baselines) 모델들을 일관되게 능가함을 입증하였습니다.