오픈 소스 AI 지형에 다국어 (Multilingual) 작업을 위한 새롭고 강력한 경쟁자가 등장했습니다. 8B 및 35B 파라미터 오픈 웨이트 (open-weight) 모델로 구성된 Cohere의 Aya 23 제품군 출시는, 해당 모델이 지원하는 23개 언어로 작업하는 빌더들에게 꼭 필요했던 고성능 베이스라인을 제공합니다. 이는 단순한 모델 출시가 아닙니다. 폐쇄형 API에 의존하거나 글로벌 애플리케이션을 위해 영어 중심 모델을 파인튜닝 (fine-tuning)해야 하는 상황에 대한 실질적인 대안입니다.

Aya 23이란 무엇인가

Aya 23은 Cohere의 비영리 연구소인 Cohere for AI에서 출시한 지시어 튜닝 (instruction-tuned)된 디코더 전용 (decoder-only) 트랜스포머 (transformer) 모델 제품군입니다. 이 모델은 두 가지 크기로 제공됩니다. 접근성을 위해 설계된 80억 파라미터 모델과 더 복잡한 작업을 위한 더 큰 350억 파라미터 버전입니다.

이번 출시는 101개 언어에 걸친 광범위함을 목표로 했던 이전 모델 Aya 101로부터의 전략적 변화를 나타냅니다. 대신 Aya 23은 깊이에 집중하여 아랍어, 중국어, 독일어, 힌디어, 일본어, 스페인어, 베트남어를 포함하여 엄선된 23개 언어 목록에 더 많은 학습 용량을 할당했습니다. 목표는 전 세계 인구의 약 절반을 커버하는 언어 세트에 대해 최첨단 (state-of-the-art) 역량을 제공하는 것입니다.

이 모델들은 Cohere의 Command 시리즈를 기반으로 하며, Aya Collection 데이터셋으로 파인튜닝 (fine-tuned)되었습니다. 모델 웨이트 (weights)를 공개함으로써, Cohere는 연구자와 개발자들이 자신들의 작업을 검토하고 그 위에 구축할 수 있도록 허용하며, 이는 완전히 폐쇄형 소스(closed-source)인 제품들과 차별화되는 행보입니다.

빌더들에게 이것이 중요한 이유

비영어권 시장을 위한 제품을 만드는 엔지니어들에게 선택지는 종종 제한적이었습니다. 높은 성능을 제공하지만 커스터마이징이 제한적이고 종속 (lock-in) 가능성이 있는 독점적인 폐쇄형 소스 API를 사용할 수도 있었습니다. 또는 강력한 오픈 소스이지만 영어 중심적인 모델을 가져와 파인튜닝 (fine-tuning)을 시도할 수도 있었지만, 다른 언어에서는 성능이 뒤처지는 경우가 많았습니다.

Aya 23은 매력적인 절충안을 제공합니다. 특히 8B 모델은 소비자급 하드웨어에서 실행될 수 있도록 설계되어 접근성이 높으며, 이는 개발자와 연구자들의 진입 장벽을 크게 낮춰줍니다. 35B 모델은 더욱 강력한 옵션을 제공하며, 벤치마크 결과에 따르면 다양한 다국어 (multilingual) 작업에서 Gemma 및 Mistral과 같은 다른 인기 있는 오픈 모델들을 능가하는 성능을 보여줍니다.

이를 통해 처음부터 다시 시작할 필요 없이 다국어 고객 지원, 콘텐츠 모더레이션 (content moderation), 언어 학습 도구와 같은 분야에서 더욱 견고한 애플리케이션을 구축할 수 있습니다. 이미 다양한 언어 세트로 사전 학습 (pre-trained)된 강력한 오픈 베이스라인 (baseline) 모델을 보유하는 것은 상당한 계산 비용과 데이터 소싱 노력을 절약해 줍니다.

시작하기 및 고려 사항

Hugging Face에서 모델을 이용할 수 있습니다. 가중치 (weights)는 CC-BY-NC 라이선스 하에 제공되며, 이는 연구용으로는 허용되지만 비상업적 제한 사항이 있습니다. 다음은 transformers 라이브러리를 사용하여 8B 모델로 추론 (inference)을 실행하는 간단한 예시입니다.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

...

주의해야 할 몇 가지 사항은 다음과 같습니다:

• 하드웨어: 8B 모델은 접근성이 더 높지만, 35B 버전은 여전히 상당한 계산 자원을 필요로 합니다. 로컬 또는 소비자급 하드웨어에서 실행하려면 양자화 (Quantization)가 필요할 가능성이 높습니다.
• 라이선스: Creative Commons 비상업적 라이선스는 사용 사례를 고려해야 함을 의미합니다. 연구, 실험 및 내부 도구에는 이상적이지만, 상업적 애플리케이션에는 다른 접근 방식이 필요할 수 있습니다.
• 평가: 벤치마크는 유용하지만, 항상 귀하의 특정 작업과 대상 언어에 대해 모델의 성능을 평가하십시오. 성능은 달라질 수 있으며, 일반적인 벤치마크에서 작동하는 것이 귀하의 특정 도메인에서는 유지되지 않을 수 있습니다.

요약

요약

Aya 23의 출시는 영어를 넘어 고성능 AI를 민주화하기 위한 의미 있는 단계입니다. 이는 개발자들에게 더욱 글로벌하게 유효하고 언어적으로 포용적인 애플리케이션을 구축할 수 있는 강력하고 개방된 도구 세트를 제공합니다. 독점적인 API (Proprietary APIs) 비용이나 영어 우선 (English-first) 오픈 모델의 성능 한계로 인해 어려움을 겪어온 팀들에게, Aya 23은 조사해 볼 가치가 있는 개발 성과입니다.

sources

• Aya 23: Open Weight Releases to Further Multilingual Progress (Technical Report)
• Cohere For AI on Hugging Face
• https://huggingface.co/CohereForAI/aya-23-8B