Show HN: 통합된 Guardrails를 갖춘 오픈 소스 AI Gateway

약 1년 전, 우리는 우리가 직접 직면했던 문제, 즉 LLM 앱을 확신을 가지고 프로덕션(production) 환경에 배포하기 위한 적절한 툴링(tooling)의 부족을 해결하기 위해 Portkey를 시작했습니다. 이는 여러 방식으로 나타났습니다:

• LLM 요청을 디버깅(debug)할 방법이 없었습니다.
• 요청 레벨의 비용 데이터를 볼 수 없었습니다.
• 개발자를 참여시키지 않고는 프롬프트(prompt)를 빠르게 반복(iterate)할 수 없었습니다.
• 새로운 모델을 시도하고 싶을 때, 통합하는 데 영원히 걸렸습니다.
• 마지막으로, LLM 출력 자체의 신뢰성이 프로덕션에서 사용하기에 충분하지 않은 경우가 많았습니다.

우리는 이러한 "ops" 과제들을 해결하기 위해 Portkey를 구축하기 시작했으며, 우리만의 방식대로, 주관이 뚜렷한 오픈 소스 AI Gateway를 통해 이를 수행했습니다. (참고로 - 이 리포지토리(repo)에 스타(star)를 눌러주셨나요? 😬)

Portkey Gateway를 통해 우리는 현재 매일 수십억 개의 LLM 토큰을 처리하고 있으며, 수백 개의 기업이 AI 앱을 프로덕션으로 가져갈 수 있도록 돕고 있습니다.

팀들은 빠른 디버깅, 빠른 반복, API 장애 처리 등을 위해 Portkey를 사용합니다!

우리는 핵심 LLM 동작에 영향을 주지 않도록 Gateway를 구축했습니다. Portkey는 현재 200개 이상의 서로 다른 LLM에 대해 요청/응답 변환(transformation)을 수행하여 이를 더욱 견고하게 만듭니다. 하지만 핵심 LLM 동작은 여전히 예측 불가능합니다:

• 출력 결과가 완전한 환각(hallucination)이거나 사실과 다를 수 있습니다.
• 결과에 편향(bias)이 나타나거나, 개인정보 보호 규범을 위반하거나, 잠재적으로 조직에 해를 끼칠 수 있습니다.

AI 앱을 프로덕션으로 가져가는 문제에 있어서, 우리는 이러한 예측 불가능성이 가장 큰 누락된 구성 요소라고 믿습니다. Chip Huyen은 최근 "Gen AI 플랫폼 구축하기(Building a Gen AI Platform)"에 관한 결정적인 가이드를 작성하며 이 문제를 강조했습니다:

[내용 생략: 원문에 문장이 끊겨 있음]

Guardrails는 LLM 출력을 제어하고 안내하는 데 도움을 주는 시스템입니다. 이를 Gateway에 통합함으로써, 우리는 강력한 솔루션을 만들 수 있습니다:

이 통합을 통해, Guardrail의 판결(verdict)에 따라 LLM 요청을 오케스트레이션(orchestrate)할 수 있으며, LLM 동작을 정확히 원하는 대로 처리할 수 있습니다. 이 조합은 Gateway에서 상호 운용성(Interoperability), 라우팅(Routing), 그리고 Guardrails를 하나로 모아줍니다.

우리는 Gateway가 모든 AI 개발자에게 필수적인 도구(tooling)라고 믿습니다. 하지만 LLM의 동작을 제어(steering)하고 평가(evaluating)하는 데에는 전문적인 지식이 필요하다는 점도 인지하고 있습니다.

그렇기에 우리는 세계 최고의 AI Guardrails 플랫폼 중 일부와 파트너십을 맺어, Portkey Gateway에서 이들을 사용할 수 있도록 만들고 있습니다.

이제 여러분이 직접 체험해 볼 수 있도록 우리의 오픈 소스 저장소(repo)에서 Guardrails를 사용할 수 있으며, Portkey의 호스팅 앱에서도 무료로 이용 가능합니다.

Plugins 폴더를 확인하여 가능한 모든 기능들을 깊이 있게 살펴보세요! 또한, 여기에서 우리의 Guardrail 문서를 탐색할 수도 있습니다.

그리고 살펴보시는 동안, 이 저장소(repo)에 Star를 누르는 것도 잊지 말아 주세요!

이번 개발은 많은 기업이 직면한 중요한 프로덕션 격차(production gap)를 해소하기 위한 중대한 단계이며, 이는 시작에 불과합니다!

앞으로 나아가면서, 지속적인 학습, 적응, 그리고 협업은 우리 앞에 놓인 복잡한 과제들을 해결하는 데 핵심이 될 것입니다.

우리는 커뮤니티가 이러한 개념들을 어떻게 채택하고 적응시켜 나갈지 기대됩니다. AI API의 미래에 관한 이 중요한 대화를 계속 이어 나가기를 고대합니다!