TempGlitch: 게임플레이 비디오 내 시간적 글리치 탐지를 위한 시각-언어 모델 (VLMs) 평가

시각-언어 모델 (Vision-language models, VLMs)은 비디오 게임 품질 보증 (Quality Assurance, QA), 특히 게임플레이 글리치 (Glitch) 탐지를 위해 점점 더 많이 탐구되고 있습니다. 그러나 대부분의 기존 평가 방식은 글리치를 정적인 시각적 이상 현상으로 취급하여, 모델이 단일 프레임에서 오류를 탐지하도록 요구합니다. 우리는 이러한 프레임워크가 핵심적인 차이점을 놓치고 있다고 주장합니다. 즉, 어떤 글리치는 공간적 (Spatial)이며 고립된 프레임에서도 보이지만, 다른 글리치는 시간적 (Temporal)이며 순차적인 프레임 간의 변화를 통해서만 명확해진다는 점입니다. 예비 연구를 통해 이러한 격차를 확인하였으며, 시간적 글리치가 공간적 글리치보다 VLMs가 탐지하기에 실질적으로 더 어렵다는 것을 보여주었습니다. 이 미개척 분야에 대한 체계적인 평가를 가능하게 하기 위해, 우리는 시간적 글리치 탐지를 위한 통제된 게임플레이 비디오 벤치마크인 TempGlitch를 소개합니다. TempGlitch는 카테고리당 균형 잡힌 샘플과 함께 5가지 시간적 글리치 유형을 다루며, 신뢰할 수 있는 이진 평가 (Binary evaluation)를 가능하게 하는 글리치가 없는 쌍(paired) 비디오를 함께 제공합니다. 우리는 다양한 프레임 샘플링 (Frame-sampling) 설정에 걸쳐 12개의 독점적 (Proprietary) 및 오픈 웨이트 (Open-weight) VLMs를 평가합니다. 연구 결과, 현재의 VLMs는 TempGlitch에서 무작위 확률 (Chance) 수준에 머물러 있으며, 대부분의 글리치를 놓치는 지나치게 보수적인 동작을 보이거나 깨끗한 비디오를 글리치가 있는 것으로 표시하는 지나치게 민감한 동작으로 무너지는 경우가 많습니다. 더욱이, 더 조밀한 프레임 샘플링과 더 큰 모델 크기도 이러한 실패를 안정적으로 해결하지 못합니다. TempGlitch는 시간적 추론 (Temporal reasoning), 견고한 게임플레이 이해, 그리고 VLMs를 이용한 자동화된 글리치 탐지를 위한 집중적인 테스트베드를 제공합니다. 코드와 데이터는 프로젝트 웹사이트에서 확인할 수 있습니다.