VirtualSet: 접지된 쿼리(Grounded Queries) 및 보호된 결정(Guarded Decisions)을 위한 LLM 생성
요약
LLM의 SQL 생성 시 발생하는 환각과 오류를 방지하기 위해, 엔티티-엣지 월드 기반의 집합 표현식을 사용하는 VirtualSet 프레임워크를 제안합니다. 실행 전 제약 조건 검사와 시뮬레이션 기반의 보호된 결정을 통해 데이터 무결성을 보장합니다.
핵심 포인트
- SQL 대신 타입 지정된 엔티티-엣지 월드 표현식 사용
- GCP를 통한 실행 전 제약 조건 검사 및 타입 에러 변환
- 시뮬레이션된 월드에서 동작을 먼저 실행하는 보호된 결정 지원
- BIRD 데이터셋에서 기존 SQL 방식 대비 높은 정확도 달성
- 잘못된 쓰기 동작에 대한 환각을 오탐 없이 차단
대규모 언어 모델(Large language models, LLM)은 점점 더 기업 데이터를 읽고 그에 따라 행동하고 있지만, SQL은 에러 신호가 늦게 나타난다는 단점이 있습니다. 환각(hallucinated)된 필드나 관계는 실행되어 그럴듯하게 틀린 답을 반환할 수 있으며, 잘못된 쓰기(writes) 작업은 실행 후에 안전하게 평가할 수 없습니다. 우리는 LLM을 위한 실시간 수신자 타입 지정 온톨로지-월드 인터페이스(receiver-typed ontology-world interface)이자 생성 대상인 VirtualSet을 제시합니다. 모델은 SQL 대신 엔티티-엣지 월드(entity-edge worlds)에 대한 집합 표현식(set expressions)을 방출합니다. 일반 제약 조건 투영(Generic Constraint Projection, GCP)은 실행 전에 표현식을 검사하며, 향후 이 방식은 컬렉션 체인(collection chains)을 통해 구체적인 수신자 타입을 보존하여, 잘못된 필드, 엣지, 수신자 및 동작을 토큰에 고정된 타입 에러(token-anchored type errors)로 변환합니다. 타입이 정제된 읽기(Type-clean reads)는 SQL 패스트 패스(fast path) 또는 유계 스트림 해석(bounded stream interpretation)을 사용하며, 패리티 오라클(parity oracle)이 실행된 연산자 공간에 대해 두 경로를 모두 검사합니다. 동일한 기질(substrate)은 보호된 결정(guarded decisions)을 지원합니다. 즉, 동작은 시뮬레이션된 월드에서 먼저 실행되며, 월드 변경 이벤트는 실제화되기 전에 외부 승인을 필요로 합니다. BIRD 데이터셋에서 우리는 관계형 스키마를 타입 지정된 월드로 격상시키고, 모델, 증거, 값, 제로샷(zero-shot) 설정, 타임아웃, 용어집(glossary), 복구/투표(repair/voting) 및 채점자(grader)를 가능한 한 동일하게 유지하면서 VirtualSet을 직접적인 SQL과 비교합니다. 고정된 1,072개 질문 분할 데이터에서, deepseek-reasoner를 사용했을 때 VirtualSet은 복구 및 투표를 적용한 용어집 매칭 직접 SQL의 63.5% 대비 67.5%의 정확도를 달성했습니다 (+4.0 포인트; McNemar exact p = 0.00117). 전체 코퍼스 분석 결과, 타입이 정제된 표현식에 대한 엔진의 계산 오류는 발견되지 않았습니다. 남은 오류는 모델의 의미론(semantics) 또는 정답(gold)의 결함에서 발생했습니다. 30개 본문(body)의 보호 코퍼스에서, 쓰기 체인은 20개 중 20개의 환각된 동작 본문을 오탐(false positives) 없이 차단했습니다. 따라서 VirtualSet은 SQL의 홈 벤치마크에서 경쟁력을 유지하는 동시에, 보호된 결정을 위한 실행 전 의미론(pre-execution semantics)을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기