AI Gateway에서 OpenAI Responses API를 위한 WebSocket 지원 시작
요약
Vercel AI Gateway가 OpenAI Responses API를 위한 WebSocket 지원을 시작했습니다. 이를 통해 전체 컨텍스트를 매번 다시 보낼 필요 없이 이전 응답 ID만으로 지속적인 연결을 유지할 수 있습니다.
핵심 포인트
- WebSocket 사용 시 에이전트 실행 속도가 최대 40% 향상됨
- 매 턴마다 전체 컨텍스트를 전송할 필요가 없어 효율적임
- OpenAI의 response.create 및 store=false 사양과 호환됨
- 지속적인 연결을 통해 에이전트 배포 성능 최적화 가능
이제 OpenAI Responses API를 위한 WebSocket 모드를 지원합니다. 매 턴마다 새로운 HTTP 요청을 통해 전체 컨텍스트를 다시 보내는 대신, 새로운 입력 항목과 previous_response_id만 전송하여 지속적인 연결을 유지하고 각 턴을 계속 이어갈 수 있습니다. AI Gateway
20개 이상의 도구 호출 (tool calls)이 발생하는 에이전트 배포 (agentic rollouts) 시, WebSocket을 사용하면 엔드 투 엔드 (end-to-end) 실행 속도가 최대 ~40%까지 빨라집니다. OpenAI 보고서
Responses 라우트는 GET /v1/responses에서 열리며 지속적인 WebSocket 연결을 통해 로우 프레임 (raw frames)을 수락합니다. 이 모드는 response.create 및 store=false와 호환되며, 상위 수준에서 OpenAI의 사양을 따릅니다. Zero Data Retention WebSocket mode
설정을 위한 가이드와 전체 라우트 목록을 확인하세요. AI Gateway documentation
WebSocket을 통한 Responses API 트래픽 라우팅
AI 자동 생성 콘텐츠
본 콘텐츠는 Vercel AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기