SAGG: 불안정한 Gonka 브로커를 안정적인 추론 API로 변환

만약 Gonka 추론을 직접 사용해 보셨다면, 개별 브로커가 항상 일관적이지 않다는 것을 아마 알아차리셨을 겁니다. 어떤 브로커는 한동안 빠르고 안정적이다가 느려지거나 요청을 끊었다가 다시 회복하는 식입니다. 이것이 바로 독립적인 노드들의 분산 네트워크가 작동하는 방식입니다.
SAGG는 다른 접근 방식을 취합니다. 하나의 브로커에 의존하고 그것이 건강하게 유지되기를 바라는 대신, 여러 개의 브로커를 동시에 보유하고 현재 어려움을 겪고 있는 곳을 자동으로 우회(route around)시킵니다. 외부적으로 볼 때는 그저 정상적이고 안정적인 API만 받게 되며, 불안정성은 사용자에게 도달하기 전에 흡수됩니다.
저희는 이것을 만들었다고 주장만 한 것이 아니라, 실제 지속적인 프로덕션 트래픽으로 제대로 측정했습니다. 두 번의 별도 캠페인이 진행되었습니다:
9월 18일 (라인당 1000 요청, 표준 프롬프트 혼합):

• 표준 라인: 100% 성공 (1000/1000 요청)
• Super Deal 라인: 98.9% 성공 (989/1000 요청)
  9월 30일 재점검 (라인당 200 요청, 더 무거운 프롬프트 혼합 - 긴 컨텍스트, 코드 생성):
• 표준 라인: 99.5% 성공 (199/200 요청)
• Super Deal 라인: 99.0% 성공 (198/200 요청)
  TTFT p50: ~190-490ms (라인 및 부하에 따라 다름), 무거운 워크로드에서 p95는 15초 미만.
  전체 방법론, 원시 데이터, 그리고 재현 스크립트는 github.com/privatedeskai/sagg-benchmark-data 에서 확인하실 수 있습니다.
  기술적으로 궁금한 분들을 위해 말씀드리자면, 어려운 부분은 백업 브로커를 선택하는 것이 아니라 특히 스트리밍 응답을 처리하는 것이었습니다. 제공자가 클라이언트에게 콘텐츠 전송을 시작하면, 중간에 조용히 전환할 수 없습니다.