Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
OpenAI가 새로운 'Decisions API'를 출시했으며, 이 API의 성능을 기존 Jev 및 GPT-5.6-luna과 비교 분석했습니다. 테스트 결과, Decisions API는 특정 상황(예: 확인 불필요 건)에서 정확도가 떨어지는 경향을 보였으며, 특히 읽기 쉬운 문맥에서는 64.5%로 상대적으로 낮은 성능을 기록했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기OpenAI에 Decisions API가 등장했습니다.
이것은 Jev와 동등한 판단만 수행하는 API입니다.
이전 기사에서 사용했던 검증을 바탕으로 Decisions API와의 비교를 진행했습니다.
지난번에는 동일한 일본어 문의를 3가지 방식으로 분류했습니다. 방식은 Jev, 규칙 기반(rule-based), GPT-5.6-luna였습니다.
이번에는 여기에 Decisions API를 추가하여 비교해 보았습니다. '담당자 요청'부터 '확인 필요'까지 모두 합친 일치율입니다. 읽기 쉬운 200건에서는 64.5%였습니다. 문맥을 읽는 200건에서는 76.5%입니다. 담당자만 고려했을 경우, 읽기 쉬운 200건은 100%였습니다. 점수가 떨어진 부분은 '확인 필요'였으며, Decisions는 확인이 불필요한 건에도 필요하다고 답변했습니다. Decisions API의 정확도가 Jev나 GPT-5.6-luna에 뒤처지는 것은 의외였습니다.
| 방식 | 읽기 쉬운 200건 | 문맥을 읽는 200건 | 1건의 중앙값 | 1,000건당 API 비용 |
|---|---|---|---|---|
| 규칙 | 99.5% | 46.5% | 0.026ms | $0 |
Jev jev-1.13.0 | 99.0% | 93.5% | 615ms | $0.124 |
| GPT-5.6-luna | 98.5% | 97.5% | 1,137ms | $0.247 |
Decisions gpt-6-luna | 64.5% | 76.5% | 301ms | $0.217 |
6개 항목을 한 번에 판정하는 소요 시간입니다. 규칙과 Jev, GPT는 2026년 9월 21일, Decisions는 2026년 10월 7일에 측정되었습니다.
| 방식 | 중앙값