OpenEvals

본 프로젝트는 Google Summer of Code 2025의 일환으로, Google DeepMind의 멘토링을 받아 개발되었습니다.

표준화된 학술 과제 전반에 걸쳐 체계적인 벤치마킹을 제공하는 대규모 언어 모델(LLM)용 오픈 소스 평가 프레임워크입니다.

개요 (Overview)

OpenEvals는 다음 인프라를 제공합니다:

• 확립된 벤치마크(MMLU, GSM8K, MATH, HumanEval, ARC, TruthfulQA 등)에서 오픈 가중치 모델을 평가하는 기능
• 모델 패밀리(Gemma, Llama, Mistral, Qwen, DeepSeek 및 임의의 HuggingFace 모델) 전반에 걸쳐 성능 비교
• 계산 효율성 지표(지연 시간(latency), 처리량(throughput), 메모리 사용률(memory utilization)) 측정
• 신뢰 구간을 포함한 통계 분석 생성
• 출판 가능한 시각화 및 보고서 작성 지원

전체 문서는 여기서 확인하세요

요구 사항 (Requirements)

소프트웨어 (Software)

• Python 3.10+
• CUDA 11.8+ (GPU 가속을 위해)
• 50 GB 이상 디스크 공간 (모델 및 데이터셋용)

하드웨어 (Hardware)

적당한 컨텍스트 길이의 밀집(dense) 디코더 전용 모델에 대한 경험적 추정치입니다. 긴 컨텍스트와 배치 처리는 KV 캐시를 통해 VRAM을 지배할 수 있습니다.

지원 벤치마크 (Supported Benchmarks)

빠른 시작 (Quick Start)

# HuggingFace 인증 설정
export HF_TOKEN=your_token_here

...

구성 (Configuration)

models:
  llama3-8b:
    type: llama3
...

Python API

from openevals.core.benchmark import Benchmark

# 초기화
...

웹 플랫폼 (Web Platform)

브라우저 기반 평가를 위한 대화형 웹 인터페이스가 제공됩니다:

# 백엔드
cd web/backend
pip install -r requirements.txt
...

http://localhost:3000 에서 접속 가능

기능 (Features):

• 대시보드 (Dashboard): 벤치마크 실행 및 통계 개요
• 벤치마크 (Benchmarks): 평가 구성 및 실행
• 모델 (Models): 모델 구성 관리
• 리더보드 (Leaderboard): 작업별 모델 성능 비교
• 결과 (Results): 점수 시각화 및 보고서 내보내기

출력 구조 (Output Structure)

results/
├── 20250128_143022/
│   ├── results.yaml
...

테스트 (Testing)

pytest tests/
pytest --cov=openevals tests/

프로젝트 구조 (Project Structure)

openevals/
├── openevals/                 # 핵심 Python 라이브러리
│   ├── core/                  # 오케스트레이션 및 모델 로딩
...

문서화 (Documentation)

전체 문서는 다음에서 확인할 수 있습니다: https://heilcheng.github.io/openevals/

인용 (Citation)

연구에서 OpenEvals를 사용한 경우, 다음을 인용해 주십시오:

@software{openevals2025,
  author = {Cheng Hei Lam},
  title = {OpenEvals: An Open-Source Evaluation Framework for Large Language Models},
...

라이선스 (License)

MIT 라이선스. 자세한 내용은 [LICENSE]를 참고하십시오.