텍스트 코퍼스 개념 필드: 블랙박스 환각 및 신규성 측정

**개념 필드 (Concept Field)**를 소개합니다: 이는 점별 불확실성을 가진 국소 편차 필드로, 연속된 문장 간의 델타 (delta) 에서 문장 임베딩 공간에 추정됩니다. 후보 문장 전이 (transition) 가 필드와 얼마나 일치하는지 $ζ$ 로 점수화하며, 이는 관측된 델타와 필드의 국소 가우시안 추정 사이의 평균 절대 z-거리 (mean absolute z-distance) 입니다. 이 점수는 블랙박스 (모델 내부 없음), 코퍼스 귀속성 (각 점수가 인근 코퍼스 문장에 귀속됨), 그리고 직접적인 확률적 해석을 허용합니다. **벡터 시퀀스 데이터베이스 (Vector Sequence Database, VSDB)**를 도입하여 임베딩과 함께 시퀀스 위치 및 다음 델타 메타데이터를 저장함으로써 계산 지원을 제공합니다. 우리는 이 접근법을 두 가지 대규모 설정에서 평가했습니다: 미국 연방 규정법 (U.S. Code of Federal Regulations) 과 환각 스타일의 그라운드드니스 (groundedness) 탐지, 그리고 Project Gutenberg 과의 신규성 탐지입니다. 통제된 LLM 생성 리파인 (rewrite) 을 사용하여, Concept Fields 는 그라운드드 / 언그라운드드 / 불확실한 (grounded / ungrounded / unsure) 트라이어지 정책 하에서 강력한 선택적 분류 성능을 달성하며, 이는 검색 중심 기반 (retrieval-centric baselines) 과 달리 두 도메인 모두에서 유사한 커버리지-리스크 (coverage-risk) 행동을 보임으로써, 도메인 간 전이가 가능한 확률적 해석을 지원합니다. 또한, Concept Fields 의 발산 (divergence) 와 회전 (curl) 은 밀집 클러스터에서 계산되며, 질적으로 의미 있는 의미론적 패턴 (논리 원천, 싱크, 그리고 암시적 주제) 을 표면화하며, 이는 가설 생성 도구로 제공하지만 정량적 결과로는 제시하지 않습니다. Concept Fields 는 그라운드드니스와 신규성에 대한 빠르고 경량이며 해석 가능한 신호를 제공합니다. 이는 LLM-as-judge 와 화이트박스 검출기 (white-box detectors) 와 보완적입니다.