<div align="center">
<img src="https://raw.githubusercontent.com/agentscope-ai/OpenJudge/HEAD/docs/images/logo.svg" alt="Open-Judge Logo" width="500">
<br/>
<h3>
<em>포괄적 평가 및 품질 보상: 애플리케이션 우수성 주도</em>
</h3>
<p>
🌟 <em>OpenJudge가 도움이 되었다면, 저희에게 별점(Star)을 부탁드립니다!</em> 🌟
</p>
Python 3.10+
PyPI
Documentation
Website
Try Online
PawBench
🌐 웹사이트 | 🚀 온라인 사용해 보기 | 📖 문서(Documentation) | 🤝 기여하기(Contributing) | 🐾 PawBench | 中文
</div>
OpenJudge는 AI 애플리케이션(예: AI 에이전트 또는 챗봇)을 위한 오픈 소스 평가 프레임워크로, 품질을 평가하고 지속적인 애플리케이션 최적화를 추진하도록 설계되었습니다.
실제로는 애플리케이션의 우수성이 신뢰할 수 있는 평가 워크플로우에 달려 있습니다. (테스트 데이터 수집 → 채점자 정의 → 대규모로 평가 실행 → 약점 분석 → 빠르게 반복 개선.)
OpenJudge는 **바로 사용할 수 있는 채점자(graders)**를 제공하며, 시나리오별 루브릭(rubrics) 생성(채점자로서)을 지원하여 이 워크플로우를 더 간단하게, 더 전문적으로 만들고 사용자의 워크플로우에 통합하기 쉽게 만듭니다.
또한 채점 결과를 **보상 신호(reward signals)**로 변환하여 애플리케이션을 **미세 조정(fine-tune)**하고 최적화하는 데 도움을 줄 수 있습니다.
🚀 지금 사용해 보세요! 설치가 필요 없는 온라인 채점자 사용을 위해 openjudge.me/app을 방문하세요. 내장된 채점자를 테스트하고, 사용자 지정 루브릭을 구축하며, 브라우저에서 평가 결과를 직접 탐색할 수 있습니다.
📑 목차
뉴스
-
2026-11-10 - 🚀 OpenJudge v0.2.5가 PyPI에 출시되었습니다. 이번 버전에는 채점 정확성, 멀티모달 평가 프롬프트, 모델 요청 호환성, 취소 정리(cancellation cleanup), 그리고 Auto Arena 자격 증명 처리에 대한 수정 사항이 포함되어 있습니다. 👉 릴리스 노트 | PyPI
-
2026-06-17 - 🐾 PawBench v1.0 - 에이전트형 AI를 위한 모델 × 하네스 공동 평가 벤치마크: 공개 프롬프트, 그레이더, 태스크 레이블, 제출물 및 리더보드 슬라이스를 포함하여 150개의 태스크 · 9개 모델 · 3가지 하네스로 구성되었습니다. 👉 GitHub | 리더보드
-
2026-04-07 - 🔒 스킬 그레이더(Skill Graders) - AI 에이전트 스킬 패키지를 평가하기 위한 5가지 새로운 LLM 기반 그레이더가 추가되었습니다: 위협 분석 (AITech taxonomy), 선언 정렬(declaration alignment), 완전성, 관련성 및 설계 품질입니다. 👉 문서 | 쿡북
-
2026-03-10 - 🛠️ 새로운 스킬(New Skills) - Claude 진위 검증, 스킬 조합 찾기 등 새로운 기능들이 추가되었습니다. 👉 스킬 둘러보기
-
2026-02-12 - 📚 참고 환각 아레나(Reference Hallucination Arena) - LLM의 학술 참고 문헌 환각을 평가하기 위한 벤치마크입니다. 👉 문서 | 📊 리더보드
-
2026-01-27 - 🆕 논문 리뷰(Paper Review) - LLM 기반 평가를 사용하여 학술 논문을 자동으로 검토합니다. 👉 문서
-
2026-01-27 - 🖥️ OpenJudge UI - grader 테스트 및 Auto Arena를 위한 Streamlit 기반 시각 인터페이스입니다. 👉 Try Online | 로컬 실행: streamlit run ui/app.py
✨ 핵심 기능 (Key Features)
📦 체계적이고 품질이 보장된 Grader 라이브러리 (Systematic & Quality-Assured Grader Library)
포괄적인 분류 체계를 갖추고 있으며, 신뢰할 수 있는 성능을 위해 엄격하게 검증된 50개 이상의 프로덕션 레디(production-ready) grader에 접근할 수 있습니다.
<table>
<tr
><td width="33%" valign="top">
🎯 일반 (General)
초점: 의미론적 품질(Semantic quality), 기능적 정확성(functional correctness), 구조적 준수성(structural compliance)
주요 Grader:
Relevance - 의미론적 관련성 점수 측정 (Semantic relevance scoring)
Similarity - 텍스트 유사성 측정 (Text similarity measurement)
Syntax Check - 코드 구문 유효성 검사 (Code syntax validation)
JSON Match - 구조 준수성 (Structure compliance)
</td>
<td width="33%" valign="top">
🤖 에이전트 (Agent)
초점: 에이전트 생명 주기(Agent lifecycle), 도구 호출(tool calling), 메모리, 계획 실현 가능성(plan feasibility), 궤적 품질(trajectory quality)
주요 Grader:
Tool Selection - 도구 선택 정확도 (Tool choice accuracy)
Memory - 컨텍스트 보존 (Context preservation)
Plan - 전략 실현 가능성 (Strategy feasibility)
Trajectory - 경로 최적화 (Path optimization)
</td>
<td width="33%" valign="top">
🖼️ 멀티모달 (Multimodal)
초점: 이미지-텍스트 일관성(Image-text coherence), 시각 생성 품질(visual generation quality), 이미지 유용성(image helpfulness)
주요 Grader:
Image Coherence - 시각-텍스트 정렬 (Visual-text alignment)
Text-to-Image - 생성 품질 (Generation quality)
Image Helpfulness - 이미지 기여도 (Image contribution)
</td>
</tr
</table>
- 🌐 다중 시나리오 커버리지 (Multi-Scenario Coverage): 에이전트, 텍스트, 코드, 수학 및 멀티모달 작업을 포함하여 다양한 도메인을 광범위하게 지원합니다. 👉 지원되는 시나리오 탐색하기
- 🔄 전체론적 에이전트 평가 (Holistic Agent Evaluation): 최종 결과뿐만 아니라, 궤적(trajectories), 메모리(Memory), 성찰(Reflection), 도구 사용(Tool Use)을 포함한 전체 생명 주기를 평가합니다. 👉 에이전트 생명 주기 평가
- ✅ 품질 보증 (Quality Assurance): 모든 grader는 검증을 위한 벤치마크 데이터셋과 pytest 통합 기능을 제공합니다. 👉 벤치마크 데이터셋 보기
🛠️ 유연한 평가자(Grader) 구축 방법
요구 사항에 맞는 구축 방법을 선택하세요:
- 커스터마이징(Customization): 요구 사항은 명확하지만 기존 평가자가 없나요? 명시적인 규칙이나 로직이 있다면, 우리의 Python 인터페이스나 프롬프트 템플릿을 사용하여 자신만의 평가자를 빠르게 정의할 수 있습니다. 👉 커스텀 평가자 개발 가이드
- 제로샷 루브릭 생성(Zero-shot Rubrics Generation): 어떤 기준을 사용해야 할지 모르거나 아직 레이블링된 데이터가 없나요? 작업 설명과 선택적 샘플 쿼리만 제공하면, LLM이 자동으로 평가 루브릭을 생성해 드립니다. 즉시 시작하고 싶을 때 신속한 프로토타이핑에 이상적입니다. 👉 제로샷 루브릭 생성 가이드
- 데이터 기반 루브릭 생성(Data-driven Rubrics Generation): 요구 사항은 모호하지만 예시가 몇 개 있나요? GraderGenerator를 사용하여 주석이 달린 데이터에서 평가 루브릭을 자동으로 요약하고, LLM 기반의 평가자를 생성하세요. 👉 데이터 기반 루브릭 생성 가이드
- 평가자 모델 학습(Training Judge Models): 방대한 데이터가 있고 최고 성능이 필요한가요? 우리의 트레이닝 파이프라인을 사용하여 전용 평가자 모델(Judge Model)을 학습시키세요. 프롬프트 기반 채점으로는 부족한 복잡한 시나리오에 이상적입니다. 👉 평가자 모델 학습
🔌 쉬운 통합 (Easy Integration)
LangSmith나 Langfuse와 같은 주류 관측 가능성(observability) 플랫폼을 사용하나요? 우리는 평가자 및 자동화된 평가 기능을 향상시키기 위한 원활한 통합을 제공합니다. 또한 RL 학습을 위한 VERL과 같은 트레이닝 프레임워크와의 통합도 제공합니다. 👉 자세한 내용은 Integrations를 참조하세요.
🌐 온라인 플레이그라운드 (Online Playground)
코드를 한 줄도 작성하지 않고 OpenJudge를 탐색해 보세요. openjudge.me/app의 온라인 플랫폼을 사용하면 다음 작업을 수행할 수 있습니다:
- 평가기(grader) 상호작용 테스트 — 내장된 평가기를 선택하고 데이터를 입력한 후 결과를 즉시 확인하세요.
- 맞춤형 루브릭 구축 — 제로샷 생성기(zero-shot generator)를 사용하여 작업 설명으로부터 평가기를 만드세요.
- 리더보드 보기 — openjudge.me/leaderboard에서 다양한 평가 벤치마크에 걸친 모델 성능을 비교하세요.
📥 설치 (Installation)
💡 설치를 원하지 않으신가요? OpenJudge 온라인 사용 — 설정이 필요 없이 브라우저에서 평가기를 직접 사용해 보세요.
💡 더 많은 설치 방법은 Quickstart Guide에서 확인할 수 있습니다.
🚀 빠른 시작 (Quickstart)
📚 전체 Quickstart는 Quickstart Guide에서 찾을 수 있습니다.
간단한 예제 (Simple Example)
단일 응답을 평가하는 간단한 예제:
import asyncio
from openjudge.models import OpenAIChatModel
from openjudge.graders.common.relevance import RelevanceGrader
...
내장된 평가기로 LLM 애플리케이션 평가하기 (Evaluate LLM Applications with Built-in Graders)
여러 내장 평가기를 사용하여 LLM 애플리케이션을 포괄적으로 평가하세요: 👉 모든 내장 평가기 탐색
비즈니스 시나리오: 주문 문의를 처리하는 이커머스 고객 서비스 에이전트를 평가합니다. 우리는 에이전트의 성능을 관련성(relevance), 환각(hallucination), 그리고 도구 선택(tool selection) 세 가지 차원에서 평가합니다.
import asyncio
from openjudge.models import OpenAIChatModel
from openjudge.graders.common import RelevanceGrader, HallucinationGrader
...
시나리오에 맞는 맞춤형 평가기 구축 (Build Custom Graders for Your Scenario)
제로샷 루브릭 생성 (Zero-shot Rubric Generation)
레이블링된 데이터 없이 작업 설명만으로 사용자 지정 그레이더 생성: 👉 Zero-shot Rubrics Generation Guide
사용 시점: 레이블링된 데이터는 없지만 작업을 명확하게 설명할 수 있을 때 빠른 프로토타이핑에 유용합니다.
import asyncio
from openjudge.generator.simple_rubric import SimpleRubricsGenerator, SimpleRubricsGeneratorConfig
from openjudge.models import OpenAIChatModel
...
데이터 기반 루브릭 생성 (Data-driven Rubric Generation)
레이블링된 예시에서 평가 기준 학습: 👉 Data-driven Rubrics Generation Guide
사용 시점: 레이블링된 데이터가 있고, 특히 평가 기준이 암시적일 때 프로덕션 사용을 위한 고정확도 그레이더가 필요할 때 유용합니다.
import asyncio
from openjudge.generator.iterative_rubric.generator import IterativeRubricsGenerator, IterativePointwiseRubricsGeneratorConfig
from openjudge.models import OpenAIChatModel
...
🔗 통합 (Integrations)
OpenJudge를 주요 관측 가능성(observability) 및 학습 플랫폼과 원활하게 연결하세요:
💬 저희가 우선순위를 지정하기를 원하는 프레임워크가 있으신가요? 이슈 열기!
🌍 생태계 (Ecosystem)
OpenJudge는 성장하는 평가 생태계의 기반입니다. 이 프로젝트들은 특정 산업 분야(verticals)를 목표로 하면서도, **평가 주도 최적화(evaluation-driven optimization)**라는 OpenJudge의 철학을 공유합니다.
🐾 PawBench — 모델 × 하네스 공동 평가 벤치마크 (Model × Harness Co-Evaluation Benchmark)
동일한 모델이라도 어떤 에이전트 런타임(agent runtime, harness) 내부에서 실행되느냐에 따라 매우 다르게 작동할 수 있습니다. PawBench는 모델과 하네스(harness)를 함께 평가하며, 두 차원을 독립적으로 분석할 수 있는 충분한 메타데이터를 유지합니다:
$$ ext{Agent Performance} = f( ext{Model}, ext{Harness})$$