Unitxt: 엔터프라이즈급 AI 성능 평가를 위한 Python 라이브러리

🦄 Unitxt는 전 세계 최대 규모의 도구 및 데이터 카탈로그를 제공하며, 엔터프라이즈급 AI 성능 평가를 위한 Python 라이브러리입니다.

• 🌐 종합적(Comprehensive): 하나의 통합된 프레임워크에서 텍스트, 테이블, 비전, 음성, 코드를 평가할 수 있습니다. - 💼
  엔터프라이즈 준비 완료(Enterprise-Ready): 광범위한 벤치마크 카탈로그를 갖춘 실전 검증 컴포넌트입니다. - 🧠
  모델 불가지론적(Model Agnostic): HuggingFace, OpenAI, WatsonX 및 사용자 지정 모델과 함께 작동합니다. - 🔒
  재현 가능(Reproducible): 공유 가능한 모듈식 컴포넌트는 일관된 결과를 보장합니다.

pip install unitxt

# 간단한 평가 예시
uniquext-evaluate \
--tasks "card=cards.mmlu_pro.engineering" \
...

채팅 API 형식으로 수천 개의 데이터셋을 로드하여 모든 모델에 사용할 준비를 합니다:

from unitxt import load_dataset
dataset = load_dataset(
card="cards.gpqa.diamond",
... 

그래픽 사용자 인터페이스(GUI)를 실행하여 데이터셋과 벤치마크를 탐색합니다:

pip install unitxt[ui]
uniquext-explore

모든 모델로 자체 데이터를 평가합니다:

# 필요한 컴포넌트 가져오기
from unitxt import evaluate, create_dataset
from unitxt.blocks import Task, InputOutputTemplate
... 

Unitxt에 기여하는 방법에 대한 자세한 내용은 기여자 가이드를 읽어보세요.

연구에서 Unitxt를 사용했다면, 다음 논문을 인용해 주십시오:

@inproceedings{bandel-etal-2024-unitxt,
title = "Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative {AI}",
author = "Bandel, Elron and
...