PIPE-Cypher: Text-to-Cypher 시스템을 위한 자동 기업용 벤치마크 생성

기업용 속성 그래프 (Enterprise property graphs)는 스키마 구조, 내부 용어, 도메인 가정, 거버넌스 제약 조건 및 사용자 상호작용 패턴이 매우 다양합니다. 따라서 실제 배포와 관련된 Text2Cypher 벤치마크는 사용자와 에이전트가 해당 그래프에 실제로 던지는 질문을 반영해야 합니다. 스키마와 값이 고유하며 그래프 구조가 시간이 지남에 따라 변하기 때문에 이러한 벤치마크를 만드는 것은 어렵습니다. 각 자연어-쿼리 (NL-query) 쌍은 실행 가능해야 하며, 실제 그래프 엔티티를 사용하고, 다양성을 유지하며, 쿼리 유형과 난이도 수준 전반에 걸쳐 균형을 이루어야 합니다. 우리는 라이브 속성 그래프와 고객 질문, 분석가 로그 또는 에이전트 도구 호출에서 추출한 선택적 시드 쿼리를 균형 잡힌 NL-to-Cypher 벤치마크로 변환하는 로컬 벤치마크 생성 파이프라인인 PIPE-Cypher를 제시합니다. PIPE-Cypher는 스키마 프로파일링 (schema profiling), 역쿼리 그라운딩 (reverse-query grounding), 제약 조건이 있는 생성 (constrained generation), 결정론적 Cypher 거버넌스 (deterministic Cypher governance), 실행 검증 (execution validation), 비식별화 (redaction), 다양성 제어 (diversity controls) 및 보정된 로컬 LLM 판사 (LLM judge)를 결합합니다. 로컬 Qwen3.5-9B 생성 및 판정 기능을 사용하여, PIPE-Cypher는 승인된 3,000개의 FinBench/SNB 예시를 내보내고, 세 가지의 감사된 어블레이션 스위트 (ablation suites)를 완료하며, 인간의 레이블로 판사 동작을 보정하고, 11개의 로컬 다운스트림 모델을 평가합니다. 결과물인 벤치마크는 의도적으로 변별력을 갖도록 설계되었습니다. 제로샷 전이 (zero-shot transfer)는 약한 반면, 퓨샷 제어 (few-shot control)는 스키마 특화 예시 뱅크가 호환 가능한 모델 제품군에 도움이 될 수 있음을 보여줍니다. 종합적으로, PIPE-Cypher는 Text2Cypher 벤치마킹을 그래프, 사용자 및 대상 워크로드와 함께 진화하는 반복 가능한 프로세스로 만듭니다.