PayPal이 GKE와 Gemini를 활용해 통합 LLM 스택을 구축하여 99.999% 가용성을 제공하고 모델 배포 시간을 분 단위로

요약

PayPal은 GKE와 Gemini를 활용하여 99.999%의 고가용성을 갖춘 통합 LLM 스택을 구축했습니다. 이 시스템은 모델 배포 시간을 분 단위로 대폭 단축시키며, 수많은 엔지니어들이 에이전트 기능을 개발할 수 있는 기반을 제공합니다.

핵심 포인트

• GKE와 Gemini를 결합한 통합 LLM 스택 구현
• 99.999%의 최고 수준 가용성 확보
• 모델 배포 시간을 분 단위로 단축하여 효율 극대화
• 10K 엔지니어가 에이전트 기능 개발에 활용 가능