RNG-Bench: 최첨단 MLLM이 더 이상 보이지 않는 정보에 기반하여 행동할 수 있는지 테스트

요약

RNG-Bench는 최첨단 MLLM이 보이지 않는 정보를 기억만으로 재구성하여 행동할 수 있는지 테스트하는 벤치마크입니다. Matching Pairs와 3D Maze 환경을 통해 모델의 숨겨진 상태 재구성 능력을 평가합니다.

핵심 포인트

• MLLM의 보이지 않는 정보 기반 행동 능력 테스트
• Matching Pairs 및 3D Maze를 통한 기억력 평가
• 에피소드당 최대 128K 토큰 및 350개 이미지 포함
• 현재 모델 성능이 아직 포화 상태에 도달하지 않음