AI Gateway 로그에 세션 어피니티 표시 기능 추가

이제 요청을 세션으로 그룹화하고, 세션 어피니티가 각 요청을 어떻게 라우팅했는지 보여줍니다. 각 행은 Claude Code, Codex 또는 Cursor와 같이 해당 세션을 실행한 앱, 그 비용, 모델, 제공업체, 그리고 입력 중 캐시된 부분이 얼마나 되는지를 보여줍니다.AI Gateway 로그세션 뷰코딩 에이전트

세션을 열면 캐시 적중률(cache hit rate), 지속 시간(duration), 경로(path)를 확인할 수 있습니다. 경로는 모델과 타이밍별로 각 턴을 나열하며, 세션에 서비스를 제공한 제공업체와 그 이전에 사용된 모든 제공업체를 명시합니다. 요청은 이전 요청을 처리했던 제공업체로 전송되므로, 해당 제공업체는 이미 대부분의 프롬프트를 캐시에 가지고 있습니다. 하나의 제공업체에 머무르는 세션은 각 프롬프트에서 더 많은 정보를 읽어옵니다.세션 어피니티캐시

턴, 클라이언트, 모델, 제공업체, 인증 또는 비용별로 세션을 필터링할 수 있습니다. 단일 턴 세션은 최소 턴 필터를 지우기 전까지는 숨겨집니다.

세션 어피니티는 기본적으로 텍스트 및 채팅 요청에 대해 작동합니다. 직접 요청을 그룹화하려면 대화의 모든 요청에서 동일한 session 또는 동일한 헤더를 보내야 합니다. 이 정보가 없는 요청은 대화 시작 부분의 지문(fingerprint)으로 그룹화되며, 지문이 찍힌 세션으로 표시됩니다. `sessionIdproviderOptions.gatewayx-session-id

AI Gateway가 세션을 식별하는 방법에 대한 자세한 내용은 세션 어피니티 문서를 읽어보세요.더 읽기