실행 비디오로부터의 검증된 프로그램 복구: 신뢰할 수 없는 생성기를 위한 건전한 오라클 (Sound Oracle)

요약

실행 비디오를 통해 Scratch 프로그램을 복구할 때, 신뢰할 수 없는 생성기가 제안한 후보를 검증하는 'Sound Oracle' 연구를 소개합니다. 정적 검사기를 통해 렌즈 동등성을 증명함으로써 잘못된 프로그램의 수락을 방지하는 2단계 검증 메커니즘을 제안합니다.

핵심 포인트

• 비디오 관찰로부터 실행 가능한 Scratch 프로그램을 복구하는 프레임워크 연구
• 정적 검사기를 활용해 잘못된 프로그램을 수락하지 않는 건전한 오라클 설계
• Vid2Prog를 통해 비디오와 에셋 매니페스트로부터 후보 프로그램을 합성
• 시각-언어 모델 대비 구조화된 파이프라인의 높은 복구 성능 입증