mclenhard/mcp-evals

요약

mcp-evals는 LLM 기반 점수 평가 및 내장 관측성(Observability)을 지원하는 MCP(Model Context Protocol) 도구 구현 검증용 Node.js 패키지이자 GitHub Action입니다. 이 도구를 사용하면 개발된 MCP 서버의 기능적 정확도와 성능을 체계적으로 테스트하고, PR에 결과를 자동으로 게시할 수 있습니다. 또한, Prometheus, Grafana, Jaeger 등을 통해 통합 모니터링 및 지표를 제공하여 시스템 전체의 관측 가능성을 보장합니다. 평가 구성은 TypeScript 또는 YAML 형식으로 작성할 수 있으며, OpenAI나 Anthropic 같은 주요 LLM API 키를 환경 변수로 설정하여 사용할 수 있습니다. 이 패키지는 단순히 테스트 결과를 보고하는 것을 넘어, 실제 운영 환경에서 필요한 지연 시간, 오류율 등 상세한 성능 메트릭까지 추적할 수 있도록 설계되었습니다.

핵심 포인트

• LLM 기반의 점수 평가(Accuracy, Completeness 등)를 통해 MCP 도구의 품질을 정량적으로 측정합니다.
• GitHub Action 통합으로 PR 생성/업데이트 시 자동으로 평가를 실행하고 결과를 댓글로 보고합니다.
• 내장 관측성 기능을 제공하여 Prometheus, Grafana, Jaeger 등을 통해 성능 지표(지연 시간, 오류 수 등)를 모니터링할 수 있습니다.
• 평가 구성은 유연하게 TypeScript 또는 YAML 형식으로 지원되어 사용 편의성이 높습니다.
• OpenAI 및 Anthropic API 키 설정을 통해 다양한 LLM 모델을 평가에 활용할 수 있습니다.