Object Aligner: 그래프를 위한 구성 가능한 JSON Schema 유사도 점수, LLM 프롬프트 최적화에 적용
요약
Object Aligner(OA)는 LLM의 JSON 출력과 정답 간의 유사도를 결정론적으로 측정하는 오픈 소스 Python 라이브러리입니다. 그래프 구조를 지원하는 참조 정렬 기술을 통해 복잡한 데이터 구조에서도 정확한 점수 산출과 수정 제안이 가능합니다.
핵심 포인트
- 재귀적 트리 정렬을 통한 결정론적 JSON 유사도 점수 산출
- 그래프 및 하이퍼그래프 구조를 지원하는 참조 정렬(Referential Alignment) 기술 적용
- Weisfeiler-Leman 알고리즘을 활용한 그래프 동형성 근사 및 식별자 불변성 확보
- 불일치 지점 국소화를 통한 자동 수정 제안 기능 제공
- GEPA 프롬프트 최적화기에서 보상 함수로 활용 가능
대규모 언어 모델 (LLMs)은 정보 추출 (Information Extraction), 도구 호출 (Tool Calling), 에이전트 계획 (Agentic Planning), 그리고 지식 그래프 구축 (Knowledge-graph Construction)을 지원하기 위해 고정된 스키마 (Schema)를 따르는 JSON을 생성하도록 자주 요청받습니다. 출력이 정답 참조 (Gold Reference)와 얼마나 밀접하게 일치하는지 측정하는 것은 필수적이지만 놀라울 정도로 어렵습니다. 정확한 일치 (Exact Match) 방식은 취약하고, 텍스트 유사도 (Text Similarity)는 구조를 무시하며, LLM 판사 (LLM Judge)는 비용이 많이 들고 불투명하며 비결정론적 (Non-deterministic)입니다. 우리는 Object Aligner (OA)를 통해 이 문제를 해결합니다. OA는 두 JSON 객체를 재귀적으로 트리 (Tree)를 정렬함으로써 (순서가 없는 컬렉션에는 Hungarian algorithm을, 순서가 있는 컬렉션에는 Sequence Alignment를 사용) 결정론적으로 점수를 매기고, 스키마가 선언한 세분성 (Granularity)에 따라 부분 점수를 부여하는 오픈 소스 Python 라이브러리입니다. Object Aligner는 전체가 JSON Schema 확장 (Extensions) 세트를 통해 구성되므로, 이를 새로운 작업에 적응시키는 것은 코드를 작성하는 대신 스키마에 주석을 다는 과정이 됩니다. 그러나 복잡한 구조화된 데이터 (Structured Data)는 평면적인 트리인 경우가 드뭅니다. 레코드 (Records)는 임의의 식별자 (Identifiers)를 키로 하는 그래프 (Graphs) 또는 하이퍼그래프 (Hypergraphs)를 형성할 수 있으며, 이는 기존 유사도 지표의 가정을 깨뜨립니다. 우리의 핵심 기여인 참조 정렬 (Referential Alignment)은 정답과 후보 식별자 사이의 일대일 대응 (Bijection)을 추론하고 이를 통해 모든 참조에 점수를 매김으로써 이 격차를 해소하며, 따라서 점수는 재라벨링 (Relabeling)에 대해 불변 (Invariant)합니다. 이 일대일 대응을 정확하게 복구하는 것은 그래프 동형성 (Graph Isomorphism) 문제이므로, Object Aligner는 Weisfeiler-Leman 색상 정제 (Color Refinement)를 사용하여 이를 근사합니다. 순서에 민감한 시퀀스 체제 (Sequence Regime)는 랭킹 (Ranking) 및 계획 (Planning)을 목표로 합니다. 동일한 정렬 방식이 모든 불일치 (Mismatch)를 국소화 (Localize)하기 때문에, Object Aligner는 추가 비용 없이 순위가 매겨진 수정 제안 (Repair Suggestions)을 생성합니다. GEPA 프롬프트 최적화기 (Prompt Optimizer) 내부에서 보상 (Reward)으로 사용되었을 때, Object Aligner는 모든 데이터셋에 대해 도움을 주거나 중립적인 상태를 유지합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기