OpenAI, Jev와 경쟁할 Luna 기반 Decision API 공개

• OpenAI가 DevDay에서 소형 모델 Luna 기반의 Decision API를 공개
• 개발자가 질문, 답변 후보, 맥락을 입력하면 미리 정한 답변 후보에 신뢰도 점수를 제공하는 방식
• 주요 활용처는 콘텐츠 분류, 요청 라우팅, AI 에이전트의 다음 행동 선택
• OpenAI 발표 기준 응답 시간은
  150ms로, 일반 GPT-6 Luna의 1.6초 대비 약 10배 빠름
• 일반 챗 모델에 프롬프트로 분류를 요청하는 방식과 별도 소형 분류기를 학습하는 방식 사이의 대안으로 소개됨
• 소형 분류기는 분류 항목이 바뀌면 재학습이 필요하지만, 의사결정 모델은 프롬프트로 새로운 답변 후보를 지정할 수 있음
• 기존 Moderation API도 범주별 점수를 제공하지만, 개발자가 아닌 OpenAI가 범주를 정한다는 차이가 있음
• 기사 작성 시점인
  9월 29일 기준 제한적 프리뷰로 제공되며, 수일 내 제공 범위를 확대할 예정
• 호출당 가격, 요청당 답변 후보 수 제한, 자체 데이터로 모델을 조정할 수 있는지는 아직 공개되지 않음

댓글과 토론