백엔드 생성 기능 호출 벤치마크 (GLM vs Qwen vs DeepSeek)

요약

본 기사는 백엔드 생성 및 함수 호출 능력을 측정하는 공식 벤치마크 결과를 공유하며, 최신 LLM(GPT-5.4 등)과 로컬 모델 간의 성능 격차가 크게 줄었음을 보여줍니다. 특히 Qwen3.5 계열 모델이 강력한 성능을 보였으며, 향후에는 프론트엔드 자동화까지 포함하는 통합 벤치마크가 진행될 예정입니다. 또한, 비용 문제로 인해 다음 라운드부터는 저렴하거나 로컬 환경에서 실행 가능한 소형 모델들 위주로 비교 범위가 축소될 것이라고 예고합니다.

핵심 포인트

• 최신 LLM과 로컬 LLM 간의 백엔드 생성 및 함수 호출 성능 격차가 거의 해소되었다.
• Qwen3.5 계열 모델(특히 27B)이 강력한 성능을 보여주었으며, 일부 MoE 변형보다 우수한 결과를 보였다.
• 벤치마크 비용 문제로 인해 다음 라운드부터는 저렴하거나 로컬 환경에서 실행 가능한 소형 모델들 위주로 비교가 진행될 예정이다.
• 향후 2~3개월 내에 백엔드와 자동 생성 프론트엔드를 통합한 End-to-End(E2E) 개발 벤치마크가 추가될 예정이다.