OmniVerifier-C1: 규칙 기반 생성적 세계 모델링을 위한 분해된 등급 검증기

생성적 시각 검증기는 멀티모달 지능 발전에 중요한 역할을 합니다. 구성적 요구사항이 포함된 복잡한 멀티모달 시나리오에서 시각 검증기의 견고성을 높이기 위해, 우리는 True/False의 이산적인 판단만을 생성하는 기존의 이진(binary) 검증기를 넘어섭니다. 대신, 복잡한 프롬프트나 환경 규칙을 미세 조정된 구성 요소로 자동 분해하고 점수화 지표를 할당하여 연속적이고 더 정보가 풍부한 비평 신호를 제공하는 검증기를 도입합니다. 우리의 실험은 또한 이러한 구조화되고 해석 가능한 출력이 도메인 외부의 멀티모달 비평(critic) 작업에 대한 검증기의 일반화 성능을 향상시킨다는 것을 입증합니다. 이 검증기를 훈련하기 위해, 우리는 서브 질문 수준의 이진 판단과 글로벌 정렬 점수화를 결합하여 최적화하는 분리된 (Decoupled) 강화학습 (RL) 훈련 전략을 도입하며, 정확한 로컬 피드백을 사용하여 미세 조정된 검증 능력을 개발함으로써 글로벌 레벨에서의 신뢰할 수 있는 연속 점수화의 기반을 마련합니다. 일반적인 강화학습 프레임워크 하에서, 우리는 먼저 제안된 점수화 등급 검증기가 전통적인 텍스트-이미지 시나리오에서 이진 검증기보다 현저히 우수한 성능을 보인다는 것을 경험적으로 입증합니다. 그런 다음 우리의 조사를 규칙 기반 생성적 세계 모델링으로 확장하여, 여기서 생성 모델은 명시적인 규칙 하에 세계 시뮬레이션 및 세계 추론에 활용됩니다. 이론적인 관점에서, 우리는 쌍별(pairwise) 검증 패러다임이 Ground-truth 이미지가 사용 가능할 때 점수화 (pointwise) 공식보다 더 정확한 비평을 제공한다는 것을 추가로 보여주며, Maze나 Sudoku와 같은 다양한 구조화된 세계 모델링 작업에 대한 경험적 결과는 우리의 접근 방식의 효과성을 더욱 입증합니다. 전반적으로, 우리의 연구 결과는 중요한 통찰력을 제시합니다: 생성 모델에서 구조화된 세계 모델링 에이전트로의 전환은 정확한 쌍별 등급 시각 검증기의 가용성에 결정적으로 달려 있습니다.