Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Calibrate는 AI 에이전트의 성능을 평가하는 자동화된 프레임워크입니다. 수동 테스트 방식에서 벗어나 LLM 응답 품질, 다국어 STT/TTS 벤치마킹, 현실적인 시뮬레이션까지 포괄적으로 검증합니다. 이를 통해 복잡한 에이전트 스택 전체를 빠르고 반복 가능하게 테스트할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 에이전트를 평가하기 위한 프레임워크인 Calibrate를 구동하는 핵심 엔진입니다. 이 프레임워크는 느리고 수동적인 테스트 방식에서 벗어나 전체 에이전트 스택(agent stack)에 대해 빠르고, 자동화되며, 반복 가능한 테스트 프로세스로 전환할 수 있게 해줍니다:
Text to Text (LLMs): 다중 턴 대화에 대한 LLM(Large Language Models)의 응답 품질과 도구 호출 능력을 평가하고 에이전트에 적합한 LLM을 찾을 수 있습니다.Human alignment: 인간 참여(human in the loop)를 통해 평가를 확장 가능하고 신뢰할 수 있게 만드는 LLM 심사위원(LLM judges)을 생성합니다.Speech to Text (STT): 10개 이상의 인도어권 언어를 지원하는 데이터셋에서 여러 제공업체(Google, Sarvam, ElevenLabs 등)의 STT를 에이전트 사용 사례에 최적화된 지표로 벤치마킹합니다.Text to Speech (TTS): 10개 이상의 인도어권 언어에 걸쳐 오디오 LLM 심사위원(Audio LLM Judge)을 사용하여 여러 제공업체의 생성 음성을 자동으로 벤치마킹합니다.Simulations: 현실적인 사용자 페르소나와 시나리오를 사용하여 에이전트의 실패 모드(failure modes)를 테스트하는 사실적인 대화를 시뮬레이션합니다 (음성 에이전트의 경우 중단 포함).pip install calibrate-agent
calibrate-agent # 대화형 메인 메뉴
calibrate-agent stt # STT 제공업체 벤치마킹
calibrate-agent tts # TTS 제공업체 벤치마킹
...
웹 버전의 경우, frontend 및 backend 저장소를 참고하십시오.
개발 종속성(development dependencies)을 한 번 설치합니다 (uv 필요):
uv sync --extra dev
전체 테스트 스위트를 실행합니다:
uv run pytest tests/
프로젝트의 git 훅(git hooks)을 활성화하여 main 브랜치에 커밋할 때 pre-commit 테스트 러너가 작동하도록 합니다:
git config core.hooksPath .githooks
모든 기여자(contributor)는 이를 한 번 실행해야 합니다.
작업에서 Calibrate를 사용했다면, 다음 형식으로 인용해 주십시오:
@software{calibrate2026,
author = {Dalmia, Aman and Doshi, Jigar},
title = {Calibrate: An open-source framework for evaluating AI agents},
...
본 작업은 크리에이티브 커먼즈 저작자표시-동일조건변경허락 4.0 코어 국제 라이선스 (Creative Commons Attribution-ShareAlike 4.0 International License)에 따라 라이선스가 부여됩니다.
