Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CHARM은 멀티모달 그래프 환경에서 제로샷 전이를 가능하게 하는 새로운 그래프 파운데이션 모델입니다. 계층적 문맥 모델링을 통해 도메인 특화 정보를 공유된 고수준 개념으로 매핑하여 미학습 도메인에서도 높은 성능을 발휘합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기그래프 파운데이션 모델 (Graph foundation models, GFMs)은 그래프 도메인과 태스크 전반에 걸쳐 지식을 전이하기 위한 유망한 패러다임으로 등장했습니다. 실제 세계의 그래프는 노드(nodes)를 텍스트, 이미지 및 기타 모달리티 (modalities)와 연관시키며, 이는 복잡한 엔티티 (entities)와 관계를 표현하기 위해 멀티모달 그래프 (multimodal graphs)가 필수적임을 의미합니다. 더욱이, 모든 새로운 그래프 도메인에 대해 레이블 (labels)을 수집하고 모델을 적응시키는 것은 비용이 많이 들고 종종 불가능하기 때문에, 제로샷 전이 (zero-shot transfer)의 필요성이 제기됩니다. 불행히도, 멀티모달 그래프에서의 제로샷 전이는 여전히 미개척 분야로 남아 있습니다. 기존의 GNN 기반 그래프 파운데이션 모델들은 일반적으로 다운스트림 적응 (downstream adaptation)을 필요로 하는 반면, LLM 기반 그래프 방법들은 주로 단일 모달리티 그래프나 단일 도메인 내의 태스크를 다룹니다. 이러한 설정은 두 가지 핵심 과제를 제시합니다. 첫째, 모델은 전이 가능한 교차 모달 관계 (cross-modal relations)를 포착하는 동시에 개별 모달리티로부터 지식을 일반화해야 합니다. 둘째, 타겟 도메인 미세 조정 (fine-tuning) 없이는 노드 표현 (node representations)이 도메인 특화 구조 및 모달리티 특화 특성과 얽혀 있어, 보지 못한 도메인에서의 공유된 개념을 가리게 됩니다. 이러한 과제를 해결하기 위해, 우리는 제로샷 전이를 위한 계층적 문맥 모델링 (hierarchical context modeling)을 갖춘 멀티모달 그래프 파운데이션 모델인 CHARM을 제안합니다. CHARM은 고립된 원시 노드 (raw nodes)를 멀티모달 의미론 (multimodal semantics)과 교차 모달 관계를 포착하는 계층적 그래프 문맥 (hierarchical graph contexts)으로 대체합니다. 이러한 문맥은 도메인 특화 노드 패턴을 공유된 고수준 개념으로 매핑하여, 타겟 도메인 감독 (supervision) 또는 적응에 대한 의존도를 줄여줍니다. 모달리티 인식 그래프 문맥 인코더 (modality-aware graph context encoder)는 멀티모달 정보와 그래프 구조를 통합하고, 결과로 나온 표현을 대규모 언어 모델 (large language model)을 위한 그래프 토큰 (graph tokens)으로 변환합니다. 실험 결과, 제로샷 멀티모달 그래프 태스크에서 일관된 성능 향상을 보여주었습니다.