상위 7개 의사 결정 모델 벤치마크: 2,826개 실제 기술 결정 기반 평가

요약

본 보고서는 GitHub, Firefox 등에서 수집된 2,826개의 실제 기술 결정을 기반으로 상위 7개 의사 결정 모델을 평가했습니다. 이 모델들은 구조화된 입력을 받아 단일 패스로 확률 분포를 산출하며, Perplexity Decider V1.2가 전반적으로 가장 강력한 성능과 비용 효율성을 갖춘 것으로 나타났습니다.

핵심 포인트

• 평가는 GitHub, CVE 등 2,826개의 실제 기술 결정을 기반으로 진행되었습니다.
• Perplexity Decider V1.2는 정확도와 낮은 비용을 모두 만족하는 최강 모델로 평가됩니다.
• Nace Drex Max v1.1은 도메인별 분류 작업에서 선두를 차지했습니다.
• GPT-6 Luna Decisions는 가장 높은 확률 과신(overconfidence)이 관찰되었습니다.