장기 지평 소프트웨어 구축을 위한 벤치마크 ViBench 2.0 출시

요약

장기 지평(long-horizon) 소프트웨어 구축 능력을 측정하는 새로운 벤치마크 ViBench 2.0이 출시되었습니다. 이 벤치마크는 에이전트가 빈 프로젝트에서 시작하여 전체 제품을 개발하도록 요구합니다. 최고 성능의 모델들조차 빌드의 상당 부분에서만 모든 검사를 통과하는 것으로 나타났습니다.

핵심 포인트

• ViBench 2.0은 장기적인 소프트웨어 구축 능력을 측정하는 새로운 벤치마크입니다.
• 에이전트는 처음부터 전체 제품을 개발하는 복잡한 시나리오를 테스트합니다.
• GPT-6.1 Sol 등 최고 모델도 빌드 과정에서 성능적 한계를 보였습니다.
• ViBench 2.0은 FireworksAI의 전문 지능 지수에 포함되었습니다.