AI 코딩 에이전트에게 빈 프로젝트를 주고 우버나 깃허브 같은 서비스를 처음부터 끝까지 만들게 하면 어떻게 될까. Replit이 이걸 재는

AI 코딩 에이전트에게 빈 프로젝트를 주고 우버나 깃허브 같은 서비스를 처음부터 끝까지 만들게 하면 어떻게 될까. Replit이 이걸 재는 벤치마크 ViBench 2.0을 공개했다.

기존 코딩 벤치마크는 대부분 이미 있는 코드 안에서 잘 정의된 작업 하나를 준다. ViBench 2.0은 빈 프로젝트에서 시작해 제품이 커가는 과정을 흉내 낸다. 다음 기능을 모르는 상태에서 데이터 구조와 라우트를 먼저 정해야 해서, 뒤로 갈수록 기능 추가가 더 어려워질 수 있다.

핵심은 세 가지다.

1. 에이전트는 짧은 설명만 보고 첫 버전을 만든 뒤, 자기가 짠 코드 위에 기능을 최대 18개까지 더한다. 다음에 무슨 기능이 올지는 미리 알려주지 않는다.

2. 제품 17개, 기능 요청 241개, 테스트 계획 544개로 구성된다. 8개 제품은 깃허브에 공개했고 9개는 비공개로 남겼다.

3. 채점은 Opus 5.5 기반 채점 에이전트가 실제 브라우저에서 클릭하고 입력하며 한다. 정상 빌드에 버그 34개를 하나씩 심어 시험했는데, 버그가 보이는 상태에서 테스트 계획을 통과 처리한 적은 한 번도 없었다고 Replit은 밝혔다.

Fireworks가 모델마다 17개 제품을 4번씩 빌드한 공식 결과를 보면, 모든 테스트 계획을 통과한 빌드 비율은 GPT-6.1 Sol 65%, GPT-6 Astra 60%, Opus 5.5 49%다. 세 모델 모두 테스트 계획의 90% 이상을 통과했다. 실패한 빌드도 대부분 테스트 계획 몇 개만 놓친 경우였다.

빌드 한 번 비용은 Sol 약 12달러, Astra 약 90달러다. 오픈 웨이트 모델 중에는 모든 테스트 계획을 통과한 빌드를 낸 모델이 없었다.

ViBench 2.0은 Fireworks의 Specialized Intelligence Index에 포함됐다.

#Replit #ViBench #AI에이전트

https://t.co/7trwBjRrh2

Today we're releasing ViBench 2.0, a benchmark for long-horizon software building. Agents start from an empty project and build a whole product, one feature at a time, without seeing what comes next.

Even the best models (GPT-6.1 Sol, GPT-6 Astra, Opus 5.5) pass every check in only 49-65% of builds