AI 앱을 프로덕션에 배포하기 전에 모든 AI 개발자가 알아야 할 10가지 GitHub 저장소

AI 애플리케이션을 구축하는 것은 한 가지 일입니다. 그것이 신뢰할 수 있고, 정확하며, 비용 효율적(cost-efficient)으로 유지되도록 하는 것은 또 다른 문제입니다.

이 오픈 소스 도구들은 백그라운드에서 무슨 일이 일어나고 있는지 이해하는 데 도움을 줍니다:

1. Langfuse
   LLM 호출, 프롬프트, 성능 및 비용 추적.
   https://github.com/langfuse/langfuse…
2. Arize Phoenix
   AI 워크플로우를 추적하고 검색(retrieval) 문제를 디버깅합니다.
   https://github.com/Arize-ai/phoenix…
3. Promptfoo
   프롬프트를 테스트하고, 모델 출력을 비교하며, 회귀(regressions)를 포착합니다.
   https://github.com/promptfoo/promptfoo…
4. DeepEval
   LLM 응답, 환각(hallucinations), RAG 성능을 평가합니다.
   https://github.com/confident-ai/deepeval…
5. TruLens
   RAG 애플리케이션이 관련 정보를 검색하고 근거가 있는 답변을 생성하는지 확인합니다.
   https://github.com/truera/trulens
6. LiteLLM
   라우팅 및 지출 추적 기능을 통해 여러 LLM 제공업체를 단일 API로 연결합니다.
   https://github.com/BerriAI/litellm
7. Helicone
   LLM 요청, 지연 시간(latency), 사용량 및 지출을 모니터링합니다.
   https://github.com/Helicone/helicone…
8. MLflow
   실험을 추적하고 머신러닝 및 LLM 애플리케이션을 평가합니다.
   https://github.com/mlflow/mlflow
9. OpenLIT
   OpenTelemetry를 사용하여 LLM 트레이스, 메트릭 및 GPU 사용량을 모니터링합니다.
   https://github.com/openlit/openlit
10. Oxylabs Web API MCP
    실시간 웹 검색 및 추출된 데이터를 AI 워크플로우로 가져옵니다.
    https://github.com/oxylabs/web-api-mcp…

작동하는 AI 앱은 시작에 불과합니다.

또한 언제 부정확한 답변을 내놓는지, 어디서 돈을 쓰는지, 무엇이 고쳐져야 하는지 알아야 합니다.

이것이 단순한 AI 프로토타입과 신뢰할 수 있는 제품을 구별하는 요소입니다.
다음 AI 배포 전에 이 저장소들을 저장해 두세요.