Inference Endpoints 의 새로운 분석 기능

분석과 지표는 배포가 어떻게 진행되고 있는지 이해하는 데 핵심입니다. Inference Endpoints 가 과부하에 처해 있나요? 처리 중인 요청 수를 알고 있나요? 실시간으로 잘 시각화되고 관련성 있는 지표를 표시하는 것은 모니터링 및 디버깅에 필수적입니다.

우리는 분석 대시보드를 새로 고침해야 한다고 깨달았습니다. 우리는 많은 엔드포인트 자체를 디버깅하기 때문에, 사용자와 동일한 고통을 겪었습니다. 그래서 더 나은 경험을 제공하기 위해 계획과 여러 개선을 진행했습니다.

⏰ 실시간 지표: 데이터는 이제 실시간으로 업데이트되며, 엔드포인트의 성능에 대한 정확한 최신 정보를 제공합니다. 요청 지연 시간, 응답 시간, 오류율을 모니터링하든, 발생하는 사건을 즉시 확인할 수 있습니다. 또한 분석 대시보드의 백엔드를 재설계하여 데이터가 빠르게 로드되도록 만들었습니다. 특히 트래픽이 많은 엔드포인트에서 더욱 그렇습니다. 이제 지표가 채워지는 것을 기다릴 필요가 없습니다. 대시보드를 열고 즉시 인사이트를 얻으세요.

🔬 커스터마이징 가능한 시간 범위 및 자동 새로 고침: 우리는 다른 사용자가 다른 관점이 필요하다고 알고 있으므로, 특정 시간 범위를 확대하거나 장기적인 추세를 추적하는 것이 더 쉬워졌습니다. 또한 자동 새로 고침을 활성화할 수 있으며, 대시보드를 수동으로 다시 로드하지 않고도 최신 상태를 유지할 수 있습니다.

🔄 리플리카 라이프사이클 뷰: 리플리카가 어떻게 진행되고 있는지 이해하는 것은 중요하므로, 각 리플리카의 라이프사이클에 대한 자세한 뷰를 소개했습니다. 이제 초기화부터 종료까지 리플리카를 추적하고 그 사이의 모든 상태 전환을 관찰할 수 있습니다. 여러 움직이는 부품이 있어도 엔드포인트가 어떻게 작동하고 있는지 이해하는 데 도움이 됩니다.

우리는 이러한 업데이트를 배포했지만, 계속해서 개선하고 있습니다. 상황이 계속 개선될 것이며, 우리는 모든 피드백을 환영합니다.

작동하는 것, 작동하지 않는 것, 그리고 다음에 보고하고 싶은 것을 알려주세요! 🙌

변화를 확인하기 위해 Inference Endpoints 로 이동하세요!