요약

Databricks가 실제 업무 환경에 최적화된 자체 코딩 AI 벤치마크를 개발하고 그 결과를 공개했습니다. 이 벤치마크는 기존의 일반적인 평가 방식의 한계를 극복하며, GLM 5.2 모델이 Opus 4.8과 유사한 성능을 더 저렴하게 달성했음을 보여주었습니다.

핵심 포인트

• 기존 코딩 벤치마크는 현실 업무 환경에 맞지 않고 부정행위가 가능함.
• Databricks는 실제 과제와 언어를 기반으로 자체 평가 시스템을 구축함.
• GLM 5.2 모델이 Opus 4.8과 유사한 성능을 더 저렴하게 제공할 수 있음.
• 모델의 효율성은 단순히 가격뿐 아니라 토큰 사용량 및 하네스 최적화에 달려있음.