Jev보다 뛰어나고, 빠르며, 보정된 멀티모달 모델 소개

저희는 Intern-Decision 멀티모달 모델 패밀리(0.8B, 2B, 4B)를 발표했으며, 4B 모델은 Jev 1.13.0보다 성능이 뛰어납니다.
https://huggingface.co/collections/internlm/intern-decision
https://github.com/InternLM/Intern-Decision
성능
RTX 4090으로 테스트한 결과, 로컬 배포가 충분히 빨라 약 30 FPS의 의사 결정 호출을 가능하게 했으며, 이는 더 많은 애플리케이션에 엄청난 상상력을 가져다줍니다!
효율성
더 흥미로운 점은, 저희가 Jev 의사 결정 모델이 고전적인 확률 문제에서 어떻게 수행하는지 평가하기 위한 벤치마크를 구축했고, 이 모델이 보정(calibrated)가 잘 되어있지 않다는 것을 발견했다는 것입니다.
보정
모델의 보정을 평가하기 위해, 주사위를 굴릴 때 다음 숫자가 무엇일지 예측하도록 요청했습니다. 모델은 1부터 6까지의 모든 숫자를 동일한 확률로 예측해야 합니다. 예를 들어, 고전적인 Monty-Hall 문제에서 테스트했을 때, 저희 모델은 황금 분포(golden distribution)에 더 가깝습니다 (질문은 '최종 상품이 어디 있나요?'와 같은 내용입니다).
세 개의 문 확률 분포
/u/Spico197 제출
[링크] [댓글]