LLM을 검증자로 활용하여 모델 사양의 불일치성 탐지

모델 사양(Model specifications)은 대규모 언어 모델(LLMs)이 어떻게 행동해야 하는지를 정의하며, 정렬 학습(alignment training), 추론 시간 동작(inference-time behavior), 그리고 평가를 안내합니다. 그러나 이러한 사양 자체에 결함이 포함될 수 있습니다. 개별적으로는 합리적인 두 가지 원칙이라 할지라도 동일한 상황에 적용될 때 상호 모순되는 행동을 규정할 수 있으며, 이 경우 둘 다 만족시키는 응답은 존재하지 않습니다. 이러한 불일치성을 탐지하는 것은 어렵습니다. 자연어 사양을 형식화하는 과정에서는 미묘한 구별점을 잃을 위험이 있고, 동작 기반 테스트(behavior-based testing)는 사양 결함과 모델 동작의 차이를 신뢰성 있게 구별할 수 없습니다. 우리는 VeriSpec을 소개합니다. 이는 사양 텍스트 자체를 감사함으로써 모델 사양의 불일치성을 직접 탐지하는 최초의 접근 방식입니다. 우리의 핵심 통찰력은 자연어 상태로 사양을 유지하면서 LLM을 검증자(verifier)로 사용하는 것입니다. VeriSpec은 구조화되고 문맥 인식적인 규칙을 추출하고, 동작적으로 관련된 규칙들을 동일한 권위 수준에서 클러스터링하기 위해 주제 안내 그래프(topic-guided graph)를 구성하며, 불일치성을 탐지하기 위해 LLM-as-verifier 추론을 적용합니다. OpenAI 모델 사양에 VeriSpec을 적용했을 때, 우리는 405개의 규칙을 추출하고 수동으로 다섯 가지 불일치성을 검증했으며, 이 모든 내용은 개발자들에게 보고되었고 그들은 긍정적으로 반응하며 내부 논의를 시작했습니다. 다섯 가지 기준선(baselines)과 비교하여 VeriSpec은 가장 많이 검증된 불일치성을 식별하고, 가장 높은 정밀도(38.5%)를 달성했으며, 검증된 불일치성당 비용($11.12)을 최소화했습니다. 이러한 결과는 직접적인 사양 감사(direct specification auditing)가 행동적 정렬 평가에 실용적인 보완재임을 입증하며, 모델이 어떤 형태를 띠기 전에 근원에서 결함을 포착합니다. 코드는 https://github.com/HIPREL-Group/VeriSpec에서 이용 가능합니다.