Eval AI Library
Python Version
License
PyPI
firstlinesoftware/eval-ai-library를 기반으로 합니다. 이 버전은 독립적으로 유지 관리되며 추가 기능과 PyPI 배포가 포함되어 있습니다.
RAG 시스템 및 AI 에이전트를 위한 포괄적인 AI 모델 평가 프레임워크입니다. 35개 이상의 평가 지표, 30개 이상의 LLM 제공업체(OpenAI, Anthropic, Google, Azure, AWS Bedrock, Vertex AI, Mistral, Groq, xAI, DeepSeek, Cohere, OpenRouter, Together, Fireworks, Ollama, MLX 및 LiteLLM을 통한 기타)를 지원하며, 문서에서 빌트인 테스트 데이터 생성 기능, 시각화 및 분석을 위한 대화형 웹 대시보드, LangChain, LlamaIndex, CrewAI, AutoGen, Haystack, Semantic Kernel, Claude Agent SDK, smolagents, phidata, 그리고 OpenAI Assistants용 최상급 추적 서브시스템(OpenTelemetry exporter 포함)을 갖추고 있습니다. G-Eval 확률 가중치 점수 및 일반화된 평균 거듭제곱(Generalized Power Mean)을 통한 온도 제어 판결 통합 등 고급 기술을 구현합니다.
설치
pip install eval-ai-library
문서 파싱 및 OCR 지원이 포함된 전체 버전:
pip install eval-ai-library[full]
Lite 버전(핵심 평가만):
pip install eval-ai-library[lite]
빠른 시작
from eval_lib import EvalAI
evaluator = EvalAI(model="gpt-4o")
...
문서화
전체 문서는 library.eval-ai.com에서 확인할 수 있습니다.
라이선스
이 프로젝트는 Apache License 2.0에 따라 라이선스가 부여되었습니다. 자세한 내용은 LICENSE 파일을 참조하십시오.
인용
본 라이브러리를 연구에 사용하는 경우, 다음을 인용해 주십시오:
@software{eval_ai_library,
author = {Meshkov, Aleksandr},
title = {Eval AI Library: Comprehensive AI Model Evaluation Framework},
...
참고 자료
이 라이브러리는 다음의 기법들을 구현합니다:
@misc{meshkov2026adaptiverigoraievaluation,
title={Generalized Power Mean을 통한 온도 제어 판결 집계(Temperature-Controlled Verdict Aggregation)를 이용한 AI 시스템 평가에서의 적응적 엄격성(Adaptive Rigor)},
author={Aleksandr Meshkov},
...
@inproceedings{liu2023geval,
title={G-Eval: GPT-4를 사용한 NLG 평가 (더 나은 인간 정렬을 이용)},
author={Liu, Yang and Iter, Dan and Xu, Yichong and Wang, Shuohang and Xu, Ruochen and Zhu, Chenguang},
...}
## 지원
- 이슈: [GitHub Issues](https://github.com/meshkovQA/Eval-ai-library/issues)
- 문서화: [library.eval-ai.com](https://library.eval-ai.com)