AI가 실제로 작동하는지 알아볼 수 있는 10개의 GITHUB 레포지토리

이 오픈 소스 레포지토리는 AI 시스템을 테스트, 평가 및 모니터링하는 데 도움을 줍니다:

1. DeepEval
   LLM을 위한 pytest와 같습니다. 환각(hallucinations), RAG 품질, 에이전트 및 안전성을 테스트합니다.

2. Promptfoo
   프롬프트와 모델을 비교하고, 레드팀 테스트를 실행하여 사용자가 실패하기 전에 오류를 포착할 수 있습니다.

3. Ragas
   RAG 시스템의 충실도(faithfulness), 관련성(relevance) 및 검색 품질을 평가합니다.

4. Opik
   AI 워크플로우를 추적하고, 출력을 평가하며, LLM 애플리케이션을 디버깅합니다.

5. Arize Phoenix
   LLM 및 에이전트 애플리케이션을 위한 오픈 소스 관측 가능성(observability) 및 평가 도구입니다.

6. Inspect AI
   벤치마크와 평가를 구축하여 AI 에이전트가 실제 작업에서 어떻게 수행되는지 확인합니다.

7. TruLens
   추적(tracing) 및 품질 지표를 사용하여 LLM 및 RAG 애플리케이션을 측정하고 평가합니다.

8. OpenAI Evals
   모델과 AI 시스템에 대한 사용자 지정 평가를 생성하고 실행합니다.

9. Giskard
   배포 전에 취약점, 환각 및 기타 실패 모드를 찾습니다.

10. Evidently
    배포 후 품질, 드리프트(drift) 및 성능 문제를 위해 AI 시스템을 모니터링합니다.

최고의 AI 앱은 단순히 작동하는 것만 있는 것이 아닙니다.

측정하고, 테스트하며, 신뢰할 수 있는 것입니다.

다음 AI 프로젝트를 출시하기 전에 이들을 저장해 두세요.