사용자 비디오 기반 VLM 평가를 위한 추적 가능한 실행 기능이 포함된 하네스(harness) 오픈소스 공개
요약
VLM(Vision-Language Model)의 비디오 기반 평가를 위한 오픈소스 프레임워크를 공개했습니다. 실제 운영 환경과 유사한 푸티지를 활용하여 품질, 지연 시간, 비용을 고려한 최적의 설정을 결정할 수 있도록 돕습니다.
핵심 포인트
- 비디오 기반 VLM 평가를 위한 추적 가능한 실행 기능 제공
- 리더보드 중심이 아닌 실제 운영 환경 데이터 기반 평가 강조
- 프레임 샘플링 및 장면 경계 설정의 중요성 제시
- 지연 시간과 비용을 고려한 모델 구성 최적화 지원
저희가 VLM(Vision-Language Model) 평가를 마침내 다룰 수 있게 만든 프레임워크(framing)는 간단합니다. 여러분의 비디오에서, 여러분이 실제로 감당할 수 있는 품질, 지연 시간(latency), 그리고 비용 수준에서 여러분의 작업에 적합한 설정이 무엇인지 결정하는 것입니다.
그렇게 프레임을 잡고 나니 작업 방식이 바뀌었습니다. 저희는 리더보드(leaderboards)를 읽는 것을 멈추고, 실제 운영 환경과 유사한 푸티지(footage)로부터 작은 평가 세트(eval sets)를 구축하기 시작했으며, 그런 다음 그것들에 대해 완전한 구성(configurations)을 실행했습니다. 프레임 샘플링(Frame sampling)과 장면 경계(scene boundaries) 설정이 모델을 교체하는 것보다 정확도 향상에 더 큰 도움이 되는 경우가 많았습니다.
저는 모든 결과가 입력값 및 구성과 연결될 수 있도록 추적 가능한 실행(traced runs) 기능과 함께 전체 방법론을 작성하였으며, 여러분의 데이터로 이를 재현할 수 있도록 오픈 리포지토리(open repo)도 공개했습니다.
여러분은 단순히 정확도뿐만 아니라, VLM 평가의 지연 시간(latency)과 비용 측면을 어떻게 처리하고 계신가요?
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기