진화 미세 조정 (Evolution Fine-Tuning)
요약
EFT(Evolution Fine-Tuning)는 156K의 궤적을 활용해 발견 에이전트의 성능을 진화시키는 학습 방법론입니다. 또한 Tencent Hunyuan은 VQ 토크나이저와 AR 생성기를 공동 학습시켜 이미지 생성 속도를 10배 높인 GEAR 기술을 공개했습니다.
핵심 포인트
- EFT는 371개 태스크에서 베이스 모델 대비 10% 높은 성능을 기록함
- EFT는 발견 에이전트를 위한 연습 단계로 설계됨
- GEAR는 VQ 토크나이저와 AR 생성기를 엔드투엔드로 공동 학습함
- GEAR 기술을 통해 자기회귀 이미지 생성 속도를 10배 향상함
발견 에이전트 (discovery agents)를 위한 연습 단계.
EFT는 156K의 궤적 (trajectories)을 사용하여 371개의 태스크 (tasks) 전반에서 솔루션을 진화시키도록 LLM을 학습시킵니다.
Finch 모델은 홀드아웃 태스크 (held-out tasks)에서 베이스 모델 (base models)보다 10% 더 높은 성능을 보입니다.
컬렉션 (Collection):
https://huggingface.co/collections/minnesotanlp/evolution-fine-tuning
프로젝트 (Project):
https://open-galapagos.github.io/evolution_fine_tuning/
논문 (Paper):
https://paperswithcode.com/paper/2606.29082
GEAR: 10배 더 빠른 자기회귀 (autoregressive) 이미지 생성
Tencent Hunyuan의 새로운 방법은 VQ 토크나이저 (tokenizers)와 AR 생성기 (generators)를 엔드투엔드 (end-to-end)로 공동 학습시키며, 새로운 이중 판독 (dual read-out) 방식을 통해 LlamaGen-REPA를 능가합니다. 모든 토크나이저는 Hugging Face에 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기