텍스트 코퍼스 개념 필드: 블랙박스 환각 및 신규성 측정

요약

본 기술 기사는 '개념 필드(Concept Field)'라는 새로운 개념을 소개하며, 이를 통해 텍스트의 블랙박스 환각 여부와 신규성을 측정하는 방법을 제시합니다. 이 방법은 문장 임베딩 공간에서 국소 편차 필드를 정의하고, 후보 문장의 전이(transition)가 이 필드와 얼마나 일치하는지를 점수화하여 해석 가능한 지표를 제공합니다. 또한, 벡터 시퀀스 데이터베이스(VSDB)를 도입하여 계산 효율성을 높였으며, 규정법 및 Project Gutenberg 등 다양한 도메인에서 그라운드드니스와 신규성 탐지 성능을 입증했습니다.

핵심 포인트

• 개념 필드는 국소 편차 필드를 사용하여 텍스트의 블랙박스 환각 여부와 코퍼스 귀속성을 측정합니다.
• VSDB를 활용하여 임베딩과 시퀀스 메타데이터를 저장함으로써 계산 지원 및 효율성을 확보했습니다.
• 제안된 방법은 그라운드드니스(Groundedness)와 신규성(Novelty) 탐지에서 강력하고 선택적인 분류 성능을 보여줍니다.
• Concept Fields의 발산(Divergence)과 회전(Curl) 같은 추가 분석은 논리적 패턴이나 주제를 표면화하는 가설 생성 도구로 활용될 수 있습니다.
• 이 접근법은 LLM-as-judge나 기존 화이트박스 검출기와 보완적으로 작용하여 해석 가능한 신호를 제공합니다.