Jev Router를 벤치마킹하기 위해 새벽 2시까지 깨어있고 $1,000을 사용했습니다.

요약

작성자가 Jev Router를 벤치마킹하기 위해 시간과 비용을 투자한 경험을 공유합니다. DeepSWE에서 테스트했을 때, Jev Router의 성능은 low 설정의 GPT-6 Astra와 유사했지만, 실행 시간이 약 5배 길다는 점이 주요 관찰 결과입니다.

핵심 포인트

• Jev Router를 벤치마킹하는 데 시간과 비용을 사용함.
• DeepSWE 환경에서 Jev Router는 GPT-6 Astra(low)와 유사한 성능을 보임.
• 성능은 비슷하나, 실행 시간이 약 5배 길다는 단점이 있음.