Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
모바일 기기에서의 온디바이스 이미지 모델 개발을 위한 새로운 벤치마크인 MoI-Bench를 소개합니다. 이 벤치마크는 제거/대체 등 16가지 연산과 8가지 시각적 목표 카테고리를 조합하여 총 64개 하위 작업을 정의했습니다. 기존의 한계를 넘어, 모델의 품질 및 배포 가능성을 종합적으로 평가하는 지도를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온디바이스(on-device) 이미지 모델을 개발하려면 실제 사용자 요구 사항, 작업 유형, 그리고 장치 리소스 제약 조건을 고려해야 합니다. 하지만 기존의 벤치마크들은 온디바이스 모델과 서버 측 모델 간의 역량 격차를 식별하는 데 있어 제한적인 지침만을 제공합니다. 우리는 모바일 사용자 요구에 기반을 둔 벤치마크인 MoI-Bench를 소개하며, 이는 총 64개의 하위 작업(subtasks)과 1150개의 샘플로 구성되어 있습니다. 이 벤치마크는 제거 및 대체와 같은 16가지 연산(operations)과 초상화 및 텍스트와 같은 콘텐츠를 다루는 8가지 시각적 목표 카테고리(visual target categories)를 정의합니다. 이들은 직교하는 두 축을 형성하며, 그 적용 가능한 조합들이 얼굴 화장품 제거와 같은 특정 작업을 정의합니다. 모델 개선을 더 잘 안내하기 위해, 우리는 또한 작업별 기준을 도입하여 명령어 준수(instruction following), 시각적 품질, 세부 묘사 보존 등을 다루는 MoI-Eval을 제안합니다. 나아가 샘플 수준의 평가 질문들을 구성하고, 이들의 점수를 연산 축, 목표 축, 그리고 기준 축을 따라 전체적인 품질 및 역량 프로필로 집계합니다. 우리는 대표적인 온디바이스 모델과 서버 측 모델들을 평가하고 모바일 배포 비용을 측정했습니다. 결과는 이러한 분리된 '연산 x 목표(Operation x Target)' 설계가 소형 모델 개선에 더욱 세밀한 지침을 제공함을 보여줍니다. 예를 들어, 광범위한 애플리케이션 수준의 목표(예: 텍스트 편집 개선)보다 특정 역량 격차(예: 텍스트 대체)를 우선시해야 할 필요성을 강조합니다. 단일 점수를 사용하여 모델 순위를 매기는 기존 벤치마크와 달리, 우리는 실질적인 모바일 사용을 위해 모델을 평가하기 위한 두 차원의 품질-배포 가능성(Quality-Deployability) 역량 지도를 도입했습니다. 이 지도는 현재 온디바이스 모델들이 효율적인 생성 또는 편집은 달성할 수 있지만, 작업 커버리지를 확장하는 것이 배포 효율성을 더욱 개선하는 것보다 더 많은 주의를 기울여야 함을 보여줍니다. 추가적인 진전을 위해서는 특히 신원 보존(identity preservation)과 텍스트 렌더링 같은 편집 품질을 개선하고, 작업 커버리지를 넓히는 것이 필요합니다.