OpenAI Decisions API의 과대광고, 구슬통에 비유되다

한 개발자가 OpenAI의 새로운 Decisions API를 대상으로 1,000번의 실험을 진행했습니다. 동전은 앞면(heads)으로 치우치게 70% 확률로 설정되었습니다. API는 이를 정확히 반영하여 샘플링된 결과가 거의 70%에 달하는 앞면이었습니다.

그 후 그는 구슬통을 사용해 실험했습니다. 빨간색 5개, 파란색 3개, 흰색 2개가 들어있습니다.

빨간색을 뽑을 확률은 50%입니다. 그런데 API는 빨간색을 86%의 빈도로 선택했습니다.

그가 답변 옵션의 순서를 재배열하고, 빨간색 구슬을 첫 번째 위치에서 마지막 위치로 옮겼습니다. 이 수치는 73%로 떨어졌습니다.

동일한 질문, 동일한 구슬통, 동일한 모델입니다. 단지 목록상의 순서만 다를 뿐이었습니다.

저는 그 사실을 떨쳐낼 수가 없었습니다.

이것이 모두가 일주일 동안 정신을 잃을 정도로 열광했던 API입니다. OpenAI는 DevDay에서 이 기능을 발표했으며, 전문화된 gpt-6-luna를 기반으로 하여 빠르고 명확한 의사결정 시장(TypeSafe의 Jev가 유명하게 만든)을 겨냥했습니다.

공개 베타 버전은 며칠 뒤 출시되었습니다. 반응은 뜨거웠습니다.

'Jev Killer'. 하나의 전체 스타트업 카테고리를 끝낼 만한 것이었습니다.

그리고 이 모든 것 아래에는, 누군가 목록의 순서를 재배열했을 뿐인데 확률이 변하는 조용한 실험이 숨겨져 있었습니다.

만약 모델에 라우팅 로직을 맡기려고 한다면, 먼저 구슬통에 대해 알아야 합니다.

Decisions API가 실제로 무엇인지

아이디어는 간단하며, 더 많은 출시 제품들이 이처럼 정직하기를 바랍니다. 모델이 토큰 단위로 텍스트를 생성하는 대신, 세 가지 유형의 답변 중 하나를 반환합니다:

• predicates: 확률과 함께 예/아니오(yes or no)
• choices: 정의된 고정 목록에서 하나 선택
• scores: 루브릭에 따라 점수 매기기

에세이도, 군더더기도 없습니다. 오직 빠르고 명확한 판단만 있습니다.

OpenAI는 장문 생성이 아니기 때문에 최대 10배의 속도 향상을 주장합니다. 이론적으로 이는 텍스트 생성 시 1.6초가 걸리는 것에 비해 호출당 약 150ms 수준입니다. 대량 트래픽 라우팅(high-volume routing)에서는 이 계산이 매력적입니다.

하지만 포기해야 하는 것이 있습니다. 모델은 스스로를 설명할 수 없습니다. 자신이 어떤 과정을 거쳤는지 보여줄 수도 없습니다.

대신 당신은 판결과 숫자를 얻게 됩니다.

Jev 논쟁

사람들이 이 출시와 관련하여 항상 던지는 질문이 있습니다: 이것이 복제품이었는가?

TypeSafe의 Jev는 바이럴한 호기심에서 시작해 몇 주 만에 100M ARR(연간 반복 매출)을 넘어서며 75억 달러의 가치 평가를 받았습니다. 이는 카테고리를 정의했습니다.

이후 OpenAI는 거의 즉시 직접적인 답변을 출시했습니다. r/singularity 스레드는 전반적인 분위기를 요약했습니다: “TypeSafe가 노리던 시장의 거대한 부분을 가져갔다.”

최고 인기 레딧 댓글은 덜 감명받았습니다.

잠깐, 이건 Jev를 복사한 것이고 본질적으로는 아주 가벼운 Luna에 불과하지 않은가?

벤치마크 수치는 그 중간쯤에 머물렀습니다. LangWatch가 LLM-as-a-judge 작업으로 두 모델을 실행했습니다:

아무도 트윗하지 않은 느린 부분

흥미로운 불만은 며칠 후에 제기되었습니다. r/LLMDevs의 Jev 대안에 관한 스레드에서 Decisions API가 “실망스러울 정도로 느리다”고 지적했습니다. 이는 10배 속도 주장을 바탕으로 출시된 제품을 기대하는 바와는 다릅니다.

속도 출시에는 항상 같은 이야기가 나옵니다. 벤치마크는 장난감일 뿐입니다. 실제 트래픽은 그렇지 않습니다.

지원 티켓 라우팅을 시도한 사람들은 중앙값 지연 시간(median latency)은 괜찮았지만, 꼬리 부분(tail)이 짜증스러울 정도로 느려져서 고장 난 것처럼 느껴질 정도였습니다.

제 생각에 더 깊은 문제는 OpenAI가 무엇과 비교했는지입니다. 자체 생성 엔드포인트와 비교하면 빠릅니다. 동일한 분류 작업을 수행하는 소형 모델과 비교하면 격차는 빠르게 줄어듭니다.

출시 게시물에 아무도 언급하지 않은 또 다른 점이 있습니다: 두 모델 모두 답변에 실제 수학이 필요할 때 무너집니다.

송장 항목들을 더하는 것? 둘 다 실패합니다. 이 모델들은 판단을 할 뿐, 계산을 하지 못합니다.

마이크로소프트가 사흘 뒤 등장하다

그리고 가장 이상한 일이 벌어졌습니다. Microsoft는 OpenAI의 베타 출시 사흘 후에 자체 의사 결정 점수 모델인 Microsoft-Decision-1을 공개했습니다.

반전은 다음과 같습니다: 그들은 Alibaba의 오픈 웨이트(open-weight) Qwen3.5-9B를 포스트 트레이닝하여 구축했습니다. OpenAI 기반이 아닙니다. OpenAI의 최대 파트너인 Microsoft가 빠른 판단 레이어에 중국 오픈 모델을 사용한 것입니다.

이것 역시 더 저렴합니다. 입력 토큰 백만 개당 $0.042이며, 출력 비용은 없습니다. 텍스트 전용, 32k 컨텍스트를 지원합니다.

Microsoft는 약 15만 개의 블라인드 질문으로 구성된 36개 벤치마크 스위트에서 승리했다고 주장하며, 이는 GPT-6 Sol 같은 플래그십 모델보다 35배 빠르다고 합니다. 그들은 이미 이를 자체 MAI 모델에 기반하여 재구축할 계획입니다.

저는 이것을 하나의 진술로 받아들였습니다. Microsoft는 저렴하고 지루하며 대량의 판단(judgment) 레이어에 OpenAI에 의존하고 싶지 않은 것입니다.

그래서 이제 세 플레이어가 같은 일, 즉 무언가를 빠르고 저렴하게 판단하는 것을 두고 싸우고 있습니다. 승자가 모든 라우팅 시스템 내부의 기본 두뇌가 될 것입니다.

벤치마크로부터의 탈피

제 데스크톱에는 '출시 주간(launch week)'이라는 폴더가 있습니다. 회사가 역대 가장 빠른 모델을 발표할 때마다, 저는 그 발표를 스크린샷 찍어 거기에 넣습니다.

지금은 40개의 파일이 있습니다. 하지만 이 중 어느 것도 더 이상 역대 가장 빠른 모델은 아닙니다.

이상한 취미지만 저를 솔직하게 만듭니다.

gpt-6-luna, Jev, Decision-1, Dots. 모든 이름들은 정확히 일주일 동안의 미래였습니다.

저는 친구에게 이 폴더에 대해 말한 적이 있습니다. 그녀는 진짜 패턴은 회사들이 명사(nouns)를 다 써버리는 것이라고 했습니다. 저는 매번 출시할 때 그 생각을 합니다.

Jev 대안 스레드를 읽고 사람들이 Strom이라는 오픈 모델이 '괜찮아 보이는지'에 대해 논쟁하는 것을 본 적이 있습니다. 훌륭하지는 않습니다. 괜찮습니다.

그것이 이미 카테고리입니다. 새로운 것이 나타나면 한 달 안에 트레이드오프(tradeoffs)가 담긴 스프레드시트가 있는 상품(commodity)이 됩니다.

그리고 이름 짓기. 저는 그 부분이 이해가 안 갑니다.

당신의 인프라는 이제 독립 밴드처럼 이름 붙여진 모델에 의존하게 되었습니다. Jev는 판타지 소설 속 캐릭터 같습니다. Luna는 향수품 같습니다.

Decision-1은 스타트렉(Star Trek)의 안드로이드 같습니다.

솔직한 부분

대부분의 사람들은 이것이 필요하지 않습니다. 분명히 말하겠습니다.

만약 당신이 하루에 수천 개의 결정을 라우팅한다면, JSON 스키마를 가진 일반 모델로도 같은 작업을 수행할 수 있습니다. 확실히 느리지만, 이미 그 모델 비용을 지불하고 있기 때문에 무료입니다.

이 카테고리는 오직 볼륨(volume)에서만 중요합니다. 수백만 개의 항목에 대한 콘텐츠 조정(Content moderation). 기업 전반의 티켓 라우팅. 두 가지 옵션 사이에서 결정하는 과정에서 그렇지 않았다면 수천 토큰을 소모했을 에이전트 루프(Agent loops).

만약 사용한다 하더라도, 원시 확률(raw probabilities)을 신뢰해서는 안 됩니다. 구슬 실험이 바로 거기에 있습니다.

순서가 바뀐 리스트 때문에 모델의 확신도가 13포인트나 변하는 것은 측정치가 아니라 느낌을 주는 것입니다.

점수를 하나의 힌트로 취급하고, 자신만의 임계값(thresholds)을 설정하며, 배포하기 전에 답변 옵션들의 순서를 테스트하세요.

또 한 가지 솔직한 점을 말씀드리자면: '10배'라는 주장은 실제로 필요하지 않은 텍스트를 생성할 때만 적용됩니다. 만약 워크플로우가 문단을 작성해야 한다면, 이 API는 쓸모가 없습니다. 이것은 스위치이지 작가가 아닙니다.

i 계속해서 그 구슬 통으로 돌아갑니다.

동전은 완벽했습니다. 하지만 통 속은 엉망이었습니다.

그리고 그것이 바로 이 API의 전체 이야기입니다. 질문 자체가 깔끔할 때는 훌륭하지만, 세상이 뒤죽박죽이고 순서와 편향을 가지고 나타날 때는 이상합니다.

i 이것을 분류(triage)하는 용도로 사용할 것입니다. 진실을 요구하지 않을 것입니다.

어쩌면 진짜 교훈은 더 단순할지도 모릅니다. 과대광고 주기(hype cycle)는 보정(calibration)보다 더 빠르게 움직였습니다. 모두가 누가 Jev를 죽였는지에 대해 논쟁하고 싶어 했지만, 아무도 답변을 섞었을 때 확률이 유지되는지 물어보지 않았습니다.

그 질문이야말로 모든 출시 발표보다 가치가 있습니다. 그리고 저는 아직 그것에 대한 좋은 답을 찾지 못했습니다.