이제 OpenAI Responses API를 위한 WebSocket 모드를 지원합니다. 매 턴마다 새로운 HTTP 요청을 통해 전체 컨텍스트를 다시 보내는 대신, 새로운 입력 항목과 previous_response_id만 전송하여 지속적인 연결을 유지하고 각 턴을 계속 이어갈 수 있습니다. AI Gateway

20개 이상의 도구 호출 (tool calls)이 발생하는 에이전트 배포 (agentic rollouts) 시, WebSocket을 사용하면 엔드 투 엔드 (end-to-end) 실행 속도가 최대 ~40%까지 빨라집니다. OpenAI 보고서

Responses 라우트는 GET /v1/responses에서 열리며 지속적인 WebSocket 연결을 통해 로우 프레임 (raw frames)을 수락합니다. 이 모드는 response.create 및 store=false와 호환되며, 상위 수준에서 OpenAI의 사양을 따릅니다. Zero Data Retention WebSocket mode

설정을 위한 가이드와 전체 라우트 목록을 확인하세요. AI Gateway documentation

Read more

WebSocket을 통한 Responses API 트래픽 라우팅