DeepSWE와 DeepSeek V4 Pro: 벤치마크 설계 의도와 실행 결과 분석

요약

DeepSWE 벤치마크를 통해 DeepSeek V4 Pro와 reasoning Max 모델의 성능을 직접 테스트한 결과입니다. 약 1B 토큰을 사용하여 실행했으나 5.31%라는 낮은 성공률을 기록했으며, 비용 효율적인 캐시 활용의 중요성을 강조합니다.

핵심 포인트

• DeepSeek V4 Pro 모델의 DeepSWE 벤치마크 결과 5.31% 기록
• 캐시 인지 가격 책정(cache-aware pricing)을 통해 비용을 $433에서 $12로 절감
• 에이전트 타임아웃 및 낮은 성공률에 대한 추가 조사 필요성 제기
• Grok Build 기반 Composer 2.5는 약 10%의 성능 기록