다중 테이블 질의응답을 위한 잠재 브리지 (Latent Bridges)
요약
다중 테이블 질의응답 성능을 높이기 위한 GRAB 파이프라인을 제안합니다. 관계형 데이터를 이종 그래프로 변환하고, 동결된 LLM에 압축된 구조적 표현을 전달하는 잠재 브리지 방식을 사용합니다.
핵심 포인트
- 관계형 데이터를 이종 그래프로 격상하여 인코딩
- 동결된 LLM을 사용하여 일반적인 추론 능력 보존
- 경량 그래프 인코더와 잠재 브리지만 학습하여 효율성 확보
- 다중 테이블 환경에서 관계형 질의응답 성능 대폭 향상
우리는 테이블 질의응답 (Table Question Answering)을 위한 constructor-encoder-bridge 파이프라인인 GRAB을 소개합니다. 우리의 방법은 관계형 데이터 (Relational data)를 이종 그래프 (Heterogeneous graph)로 격상시키고, 메시지 패싱 (Message passing)을 통해 이를 인코딩하며, 쿼리 조건부 잠재 토큰 (Query-conditioned latent tokens)의 작은 집합을 통해 LLM으로 신호를 전달합니다. 이는 LLM에 평탄화된 텍스트 (Flattened text)와 함께 압축되고 작업 관련성이 높은 구조적 표현 (Structural representation)을 제공합니다. 결정적으로, LLM의 일반적인 추론 능력을 보존하기 위해 LLM은 엄격하게 동결 (Frozen)된 상태를 유지합니다. 우리는 경량 그래프 인코더 (Graph encoder)와 잠재 브리지 (Latent bridge) (91M 파라미터)만을 학습시켜 전체 파이프라인을 효율적으로 학습할 수 있도록 합니다. 우리의 파이프라인은 관계형 질의응답 (Relational Question Answering) 성능을 크게 향상시키며, 특히 까다로운 다중 테이블 (Multi-table) 환경에서 가장 큰 성능 향상을 보입니다. 이는 관계형 딥러닝 (Relational deep learning)과 LLM을 연결하는 효율적이고 원칙적인 방법을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기