저희가 VLM(Vision-Language Model) 평가를 마침내 다룰 수 있게 만든 프레임워크(framing)는 간단합니다. 여러분의 비디오에서, 여러분이 실제로 감당할 수 있는 품질, 지연 시간(latency), 그리고 비용 수준에서 여러분의 작업에 적합한 설정이 무엇인지 결정하는 것입니다.

그렇게 프레임을 잡고 나니 작업 방식이 바뀌었습니다. 저희는 리더보드(leaderboards)를 읽는 것을 멈추고, 실제 운영 환경과 유사한 푸티지(footage)로부터 작은 평가 세트(eval sets)를 구축하기 시작했으며, 그런 다음 그것들에 대해 완전한 구성(configurations)을 실행했습니다. 프레임 샘플링(Frame sampling)과 장면 경계(scene boundaries) 설정이 모델을 교체하는 것보다 정확도 향상에 더 큰 도움이 되는 경우가 많았습니다.

저는 모든 결과가 입력값 및 구성과 연결될 수 있도록 추적 가능한 실행(traced runs) 기능과 함께 전체 방법론을 작성하였으며, 여러분의 데이터로 이를 재현할 수 있도록 오픈 리포지토리(open repo)도 공개했습니다.

여러분은 단순히 정확도뿐만 아니라, VLM 평가의 지연 시간(latency)과 비용 측면을 어떻게 처리하고 계신가요?