LLM 애플리케이션 평가 역량 강화 🚀

객관적인 지표(Objective metrics), 지능형 테스트 생성, 데이터 기반 인사이트를 제공하여 LLM 앱의 성능을 측정할 수 있습니다.

Ragas는 대규모 언어 모델(LLM) 애플리케이션을 평가하고 최적화하기 위한 궁극의 툴킷입니다. 시간이 많이 걸리고 주관적인 평가 방식은 이제 그만, 데이터 기반의 효율적인 평가 워크플로우를 경험해 보세요. 테스트 데이터셋이 준비되지 않았다고요? 저희가 프로덕션 환경에 맞는 테스트 세트 생성 기능도 제공합니다.

• 🎯 객관적 지표(Objective Metrics): LLM 기반 및 전통적인 지표를 모두 사용하여 LLM 애플리케이션을 정밀하게 평가할 수 있습니다.
• 🧪 테스트 데이터 생성: 광범위한 시나리오를 포괄하는 종합적인 테스트 데이터셋을 자동으로 생성합니다.
• 🔗 원활한 통합(Seamless Integrations): LangChain과 같은 인기 있는 LLM 프레임워크 및 주요 관측 가능성(observability) 도구와 완벽하게 작동합니다.
• 📊 피드백 루프 구축: 프로덕션 데이터를 활용하여 LLM 애플리케이션을 지속적으로 개선할 수 있습니다.

설치:

Pypi:

pip install ragas

대안으로, 소스에서 설치할 수도 있습니다:

pip install git+https://github.com/vibrantlabsai/ragas

가장 빠르게 시작하는 방법은 ragas quickstart 명령어를 사용하는 것입니다:

# 사용 가능한 템플릿 목록 확인
ragas quickstart
# RAG 평가 프로젝트 생성
ragas quickstart rag_eval
# 생성 위치 지정
ragas quickstart rag_eval -o ./my-project

사용 가능한 템플릿:

• rag_eval - RAG 시스템 평가

곧 출시 예정(Coming Soon):

• agent_evals - AI 에이전트 평가
• benchmark_llm - LLM 벤치마킹 및 비교
• prompt_evals - 프롬프트 변형 평가
• workflow_eval - 복잡한 워크플로우 평가

Ragas는 일반적인 평가 작업을 위한 사전 구축된 지표(pre-built metrics)를 제공합니다. 예를 들어, Aspect Critique은 DiscreteMetric을 사용하여 출력의 모든 측면을 평가할 수 있습니다:

import asyncio
from openai import AsyncOpenAI
from ragas.metrics import DiscreteMetric
from ragas.llms import llm_factory
# LLM 설정
client = AsyncOpenAI()
llm = llm_factory(