CRAFTQA: 복잡한 구조화된 데이터 추론을 위한 코드 기반 적응형 프레임워크

실제 세계의 시나리오는 방대한 양의 이기종 구조화된 데이터(예: 테이블, 지식 그래프(Knowledge Graphs))를 포함하며, 이처럼 다양한 데이터에 대해 효과적인 추론을 수행하는 것이 점점 더 중요해지고 있습니다. 통합 구조화된 데이터 질의응답(Unified structured data question answering)은 단일 프레임워크 내에서 서로 다른 구조화된 데이터 유형에 걸쳐 자연어 질문에 답하는 것을 목표로 하는 주요 연구 트렌드로 부상했습니다. 그러나 기존의 통합 방법들은 공통적인 한계를 공유합니다. 즉, 미리 정의된 함수 세트에 의존하기 때문에, 이러한 사전 정의된 연산을 넘어서는 복잡한 추론을 수행하는 능력이 제한된다는 점입니다. 이러한 근본적인 한계를 극복하기 위해, 우리는 두 가지 핵심 모듈인 CodeSTEP과 CRAFT로 구성된 새로운 적응형 코드 기반 프레임워크인 CRAFTQA를 제안합니다. CodeSTEP 모듈은 질문을 기반으로 단계별 코드 기반 추론 연산을 포함하는, 완전한 실행 가능한 Python 코드 시퀀스를 생성하는 패러다임입니다. CRAFT 모듈은 사전 정의된 함수 세트를 벗어나는 연산을 위해 사용자 정의 코드 함수를 동적으로 생성하며, CodeSTEP과 원활하게 통합되어 복잡한 추론을 처리하는 유연성을 크게 향상시킵니다. 여러 구조화된 데이터셋에 대한 종합적인 실험을 통해, CRAFTQA가 기존 통합 방법들과 비교하여 복잡한 추론 시나리오에서 놀라운 개선을 달성함을 입증했습니다.