iPhone/iPad에서 GGUF 모델을 벤치마크할 수 있는 iOS 앱을 만들었습니다

요약

llama.cpp와 Metal을 활용하여 iPhone 및 iPad에서 GGUF 모델을 실행하고 벤치마크할 수 있는 iOS 앱 'GenBench'가 출시되었습니다. 사용자는 Hugging Face에서 모델을 직접 다운로드하여 토큰 생성 속도와 메모리 사용량 등을 측정할 수 있습니다.

핵심 포인트

• Hugging Face GGUF 모델의 원터치 검색 및 다운로드 지원
• tok/s, 첫 토큰 지연 시간, 피크 메모리 등 표준화된 벤치마크 제공
• 텍스트 및 비전 모델(MiniCPM-V 등) 지원 및 오프라인 채팅 가능
• 기기 간 성능 비교를 위한 글로벌 리더보드 운영