나의 LLM 채팅 API가 가르쳐준 것: '50개 이상의 모델'은 기능이 아니라 유지보수 비용이다

요약

다수의 LLM 제공업체를 통합한 채팅 API를 구축하는 과정에서, 개발자는 모델 레지스트리 정규화, 가격/품질 라우팅 관리, 그리고 모델 사용 중단(deprecation) 정책 구현의 어려움을 겪었다. 결론적으로, 통합 카탈로그는 단순한 래퍼가 아니라 복잡한 스키마 검증 및 유지보수 비용을 수반하는 제품 표면임을 깨달았다.

핵심 포인트

• 다중 모델 API는 정규화 계층(normalization layer) 유지가 필수적이다.
• 가격-품질 라우팅은 실시간 데이터 업데이트가 핵심이며, 오래된 정보는 오류를 초래한다.
• 모델 사용 중단(deprecation) 관리를 위해 모델 ID를 임대 기간으로 취급해야 한다.