Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Unitxt는 엔터프라이즈급 AI 성능 평가를 위한 통합 Python 라이브러리입니다. 이 프레임워크는 텍스트, 테이블, 비전, 음성, 코드를 아우르는 광범위한 벤치마크 카탈로그와 모델 불가지론적 설계를 제공합니다. 사용자는 이를 통해 다양한 모델로 자체 데이터셋을 재현 가능하게 평가할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub Claude Ecosystem의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기pip install unitxt
# 간단한 평가 예시
uniquext-evaluate \
--tasks "card=cards.mmlu_pro.engineering" \
...
채팅 API 형식으로 수천 개의 데이터셋을 로드하여 모든 모델에 사용할 준비를 합니다:
from unitxt import load_dataset
dataset = load_dataset(
card="cards.gpqa.diamond",
...
그래픽 사용자 인터페이스(GUI)를 실행하여 데이터셋과 벤치마크를 탐색합니다:
pip install unitxt[ui]
uniquext-explore
모든 모델로 자체 데이터를 평가합니다:
# 필요한 컴포넌트 가져오기
from unitxt import evaluate, create_dataset
from unitxt.blocks import Task, InputOutputTemplate
...
Unitxt에 기여하는 방법에 대한 자세한 내용은 기여자 가이드를 읽어보세요.
연구에서 Unitxt를 사용했다면, 다음 논문을 인용해 주십시오:
@inproceedings{bandel-etal-2024-unitxt,
title = "Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative {AI}",
author = "Bandel, Elron and
...