Transformers v5: AI 생태계를 이끄는 모델 정의의 진화

요약

Hugging Face Transformers 라이브러리가 v5를 출시하며, 단순성(Simplicity), 훈련(Training), 추론(Inference), 프로덕션 환경 지원을 대폭 강화했습니다. 현재 일일 설치 횟수가 300만 회 이상으로 폭증했으며, 모델 아키텍처는 40개에서 400개 이상으로 확장되었습니다. 이번 업데이트의 핵심은 모듈화된 디자인과 PyTorch 중심의 통일성을 확보하여, 개발자들이 어떤 백엔드 환경에서도 일관되고 효율적으로 최신 LLM을 다룰 수 있도록 기반을 마련한 것입니다.

핵심 포인트

• Transformers는 현재 일일 300만 회 이상의 설치 기록을 세우며 AI 생태계의 핵심 라이브러리로 자리매김했습니다.
• 모델 아키텍처가 40개에서 400개 이상으로 확장되었으며, 커뮤니티 기여 모델 체크포인트는 75만 개를 넘어섰습니다.
• v5에서는 모듈화된 디자인을 통해 코드의 유지보수 부담을 줄이고, AttentionInterface와 같은 중앙 집중식 추상화를 도입했습니다.
• PyTorch를 단일 백엔드로 전면 채택하며 Flax/TensorFlow 지원은 종료하지만, Jax 생태계와의 호환성도 지속적으로 확보할 계획입니다.
• Pre-training(사전 훈련) 지원을 강화하여 torchtitan, megatron 등 대규모 사전 훈련 도구들과의 호환성을 높였습니다.