Artificial Analysis Decision Index의 두 번째 버전을 출시하여 실제 사용성을 더 잘 반영하고 벤치마크 게임(benchmark gaming)을 방지했습니다. 인덱스의 45%가 이제 사설 데이터셋으로 구성되었으며, 이는 v1의 25%에서 증가한 수치입니다. @NaceAI의 Drex Max v1.1이 결정 모델 중 73점으로 근소하게 선두를 차지했으며, GLiDE v1.2 (@fastinoAI) 및 Mammoth 27B (@baselabs)와는 1점 차이로 근접했습니다.
Decision Index v2의 업데이트 사항:
➤ Decision Score: 모델이 정확성(correctness)과 보정된 신뢰도(calibrated confidence)를 모두 갖추도록 보상하는 새로운 핵심 지표를 채택했습니다. 각 질문은 0점에서 100점까지 점수를 받습니다. 정답은 50점을 초과하고, 오답은 50점 미만을 받으며, 최고 답변에 대한 신뢰도가 각 절반 내에서 점수를 움직입니다.
➤ AA-Paperclip (30%): 이력서(resumes), 영수증(receipts), 청구서(invoices), 그리고 AI 및 머신러닝 연구 논문을 포함한 1,500개의 문서를 아우르는 새로운 사설 벤치마크를 추가했습니다. 모델들은 각 문서에서 결정을 내리고 사실을 추출하며, 이 15가지 답변 모두가 정확할 때만 단일 결정으로 점수가 매겨집니다.
➤ AA-Symmetry (15%): 이 지표는 모델이 동일한 질문에 대해 다르게 표현된 경우에도 답을 변경하는지 여부를 평가합니다. 옵션 재배열, 레이블 교체, 부정형 예/아니오 질문 등과 같은 변형을 가진 120개의 질문을 테스트하고, 이러한 변형 전반에 걸쳐 모델의 확률이 얼마나 일관적인지를 측정합니다.
➤ AA-Omniscience-Decision v1.1 및 HLE-MultiChoice v1.1 (각 15%, 기존 25%에서 감소): AA-Omniscience-Decision은 이제 '모르겠다(I don’t know)' 옵션의 문구를 열 가지 대안으로 다양화했습니다. HLE-MultiChoice는 동일한 열 가지 구문으로 거절하는 옵션을 추가합니다.
또한, @typesafeai의 ONET 벤치마크 구현체인 EvalSafe-ONET-AA (15%)를 추가했습니다. Index 내에서 When2Call (@NVIDIAAI)은 가중치가 감소하여 10%(기존 25%)로 유지되었으며, 포화도가 높았던 WildGuardTest는 제거되었습니다.
주요 결과:
➤ 세 가지 의사 결정 모델이 지수 상위권에서 1점 이내에 위치합니다: Nace AI의 Drex Max v1.1과 Fastino Labs의 GLiDE v1.2는 모두 73점을 기록했으며, Base Labs의 Mammoth 27B는 72점을 기록했습니다.
➤ 의사 결정 모델별로 1백만(1M) 작업당 비용은 60배 이상 차이가 납니다: Celeris-1.1 Decision($14), Decider v1.2($68), Drex Max v1.1($102)는 의사 결정 지수 대 비용 파레토 프론티어(Pareto frontier)에 위치하며, Clef는 $859의 비용이 듭니다. 토큰 가격만이 유일한 비용 동인(cost driver)은 아닙니다: Drex Max v1.1과 Decider v1.2를 포함한 대부분의 의사 결정 모델은 문서의 입력값을 모든 질문에 대해 한 번만 청구하는 반면, GLiDE v1.2와 Decider Flash v1.2는 질문마다 비용을 청구합니다. 이는 목록 가격이 33% 더 높음에도 불구하고 GLiDE v1.2가 Drex Max v1.1보다 거의 8배 높은 $780의 비용이 발생한다는 것을 의미합니다.
➤ 언어 모델은 더 높은 비용과 작업당 시간(Time per Task)을 수반하면서도 더 높은 점수를 받을 수 있습니다: Claude Haiku 5.5 (Max)는 Decision Index v2에서 77점을, GPT-6 Luna (Max)는 76점을 기록하여 Drex Max v1.1보다 약 3점 앞섭니다. GPT-6 Luna (Max)는 1백만(1M) 작업당 $1,530의 비용이 드는 반면 Drex Max v1.1은 $102로 (비용이 15배 높음) 그리고 작업당 11.34초가 소요되는 반면 Drex Max v1.1은 275밀리초(약 40배 느림)가 소요됩니다.
