거절할 수 없는 의사결정 모델이 여전히 답변하는 방식

OpenAI의 Decisions API(지난 10월 6일부터 공개 베타)와 TypeSafe의 Jev가 동일한 작업을 수행합니다. 즉, 폐쇄형 질문을 입력받아 확률과 함께 유형화된 답변을 출력하며, 서술적인 내용은 없습니다.

Jev는 비용이 더 저렴합니다($0.042 대 백만 입력 토큰당 $0.10이며, 양쪽 모두 출력에 대한 요금이 없습니다). 하지만 텍스트 전용입니다. OpenAI는 이미지를 처리할 수 있고 미국 및 EU 지역 거주 옵션을 제공하며, 답변을 거절할 수도 있습니다. Jev는 공개된 보정(calibration) 숫자가 있지만, OpenAI는 아직 없습니다.

제 생각으로는: 에이전트 볼륨에서는 가격 차이가 거의 중요하지 않습니다. 중요한 것은 모델이 답변해서는 안 될 때 여러분의 코드가 어떻게 작동하느냐입니다. 반드시 선택해야 하는 모델은 이해하지 못한 입력에 대해서도 자신감 있는 라벨을 제공하기 때문에, 어쨌든 사용자 스스로 '정보 부족' 옵션과 인간의 개입(human fallback) 방안이 필요합니다.

저는 이미지, 지연 시간(latency), 가격 책정, 거주지, 제한 사항 및 몇 가지 작은 테스트를 비교했습니다. 이 테스트들은 서로 다른 방향을 가리키고 있습니다: OpenAI's Decisions API vs Jev: which one should you use?