Falcon-Arabic: 아랍어 언어 모델의 돌파구

Falcon-Arabic을 소개합니다. 이는 아랍어 NLP(자연어 처리) 의 새로운 기준을 설정한 70 억 파라미터 규모의 언어 모델입니다. Falcon 3 아키텍처를 기반으로 하여, Falcon-Arabic 은 아랍어, 영어 및 여러 다른 언어를 지원하는 다국어 모델입니다. 이 모델은 일반 지식, 아랍어 문법, 수학 추론, 복잡한 문제 해결, 그리고 다양한 아랍어 방언의 풍부한 다양성을 이해하는 데 탁월합니다. Falcon-Arabic 은 32,000 토큰의 컨텍스트 길이를 지원하여 긴 문서를 처리할 수 있으며, 검색 강화 생성 (RAG), 심층 콘텐츠 작성, 지식 집약적 작업 등 고급 애플리케이션을 가능하게 합니다.

Falcon-Arabic 은 아랍어 언어 모델이 할 수 있는 것의 범위를 재정의합니다. 이 모델은 크기 카테고리에서 다른 아랍어 LLM(대규모 언어 모델) 을 크게 능가하며, 아랍어 본토 모델과 다른 언어에서 적응된 모델 모두 4 배까지 더 큰 모델을 능가합니다. 이는 Falcon-Arabic 이 성능 측면에서 최첨단 모델이 뿐만 아니라, 아랍어 언어를 다루는 개발자와 연구원에게 독특하게 효율적이고 접근 가능한 해결책임을 의미합니다.

최근 몇 년 동안, 대규모 언어 모델 (LLMs) 은 번역, 콘텐츠 생성, 가상 어시스턴트 등 다양한 도구를 구동하며 인공지능을 변혁시켰습니다. 그러나 많은 이 진보는 영어와 같은 고도로 표현된 언어에 집중되어 왔으며, 아랍어와 같은 언어는 과소대표화되었습니다. 아랍어는 형태론적으로 풍부하고, 디글로시크 (현대 표준 아랍어 (MSA) 와 다양한 지역 방언을 모두 아우름) 하며, 광대하고 문화적으로 다양한 인구 집단에서 사용되므로 고유한 도전을 제시합니다. 강력한 아랍어 LLM 개발은 아랍어 화자들이 AI 혁명에서 완전히 포함되도록 보장하는 데 필수적입니다.

이 목표를 염두에 두고, 우리는 Falcon-Arabic을 소개합니다. 이는 UAE 의 Technology Innovation Institute (TII) 에서 개발한 Falcon 3 모델 가족의 특수 적응입니다. Falcon 모델은 다국어 강점과 오픈 소스 접근 방식 때문에 전 세계적으로 인정을 받았습니다. Falcon-Arabic 은 이 유산을 바탕으로 아랍어에 고급 언어 이해와 생성을 가져옵니다. 모델을 현대 표준 아랍어와 주요 방언을 모두 처리하도록 훈련함으로써, Falcon-Arabic 은 Gulf(중동), Middle East(중동), North Africa(북아프리카) 에서 더 자연스럽고 지능적이고 포용적인 아랍어 AI 를 가능하게 하는 언어 기술의 중요한 공백을 채웁니다.

Falcon-Arabic 을 구축하기 위한 전략적 결정은 다음과 같습니다: 모델从头부터 훈련하는 것이 아니라, 강력한 다국어 기반을 적응하는 것을 선택했습니다. 아랍어 LLM(대규모 언어 모델) 풍경에서는 세 가지 주요 접근 방식이 존재합니다:从头부터 훈련 (예: Jais-native), 다국어 모델을 적응 (Allam 또는 Fanar 와 같은 경우), 또는 다른 언어와 함께 아랍어를 내장적으로 지원하는 모델을 사용 (Qwen 또는 LLaMA 와 같은 경우). Open Arabic LLM Leaderboard(오픈 아랍어 LLM 리더보드) 를 관찰한 결과, 적응형 및 다국어 모델이 효율성과 능력 측면에서 항상 다른 모델보다 우위임을 알 수 있었습니다. 그 모멘텀을 구축하기 위해, 우리는 Falcon 3-7B를 선택했습니다. 이는 Technology Innovation Institute (TII) 에서 개발된 Falcon 3 가족 내에서 성능과 자원 효율성 사이의 실용적인 균형을 이루는 모델입니다.

핵심 과제는 토크나이저와 임베딩 수준에서 원래 아랍어 지원이 없던 Falcon 3-7B 를 적응시키는 것이었습니다. 우리는 이를 해결하기 위해 32,000 개의 아랍어 전용 토큰으로 토크나이저 어휘를 확장하고, 기존 어휘의 의미적 관련성을 기반으로 하는 텍스트 유사성에 기반한 새로운 임베딩 초기화 전략을 적용했습니다. 이 기법은 새 아랍어 토큰을 기존 어휘의 의미적 관련 임베딩에 매핑하여 모델을 사전 지식을 계승시키고 감성, 추상 개념 및 추론 패턴 주변에서 학습을 가속화할 수 있게 했습니다. 이는 Falcon-Arabic 에게 고품질 아랍어 텍스트를 이해하고 생성하는 데 앞선 기회를 주었습니다.

토크나이저와 임베딩이就位한 후, 우리는 고품질의 100% 원생 아랍어 데이터셋에서 **연속 전 훈련 (continuous pretraining)**을 시작하여 문화적 편향을 최소화하고 언어적 진정성을 보존하기 위해 기계 번역된 콘텐츠를 사용하지 않았습니다. 훈련은 다단계 커리큘럼을 따랐습니다: 초기 단계는 모델을 안정화하고 논리적 능력을 강화하기 위해 일반 지식과 방언이 풍부한 아랍어 콘텐츠에 집중했고, 후기 단계에서는 수학, 코드 및 추론을 강조했습니다. 그 결과는 아랍어 방언 전반에 걸쳐 유창하게 speaks 할 뿐만 아니라 Falcon 의 다국어 및 추론 강점을 유지하면서 아랍어 우선 AI 의 경계를 확장하는 모델입니다.

우리는 Falcon-Arabic 을 OALL v2에서 평가했습니다. 이는 아랍어 언어 모델의 선도적 벤치마크이며, 아랍어 MMLU (원생 및 번역), 아랍어 시험, Alghafa, MadinahQA, Aratrust 과 한 생성 벤치마크인 Alrage 를 포함한 6 개의 다중 선택 과제를 포함합니다. Falcon-Arabic 은 그 크기 범위에서 모든 기존 아랍어 LLM 을 압도하고 심지어 4 배 더 큰 모델을 넘어선 것입니다. 아랍어 MMLU, 시험, MadinahQA 및 Aratrust 와 같은 핵심 벤치마크에서 선도하며 아랍어 우선 언어 모델의 새로운 표준을 설정했습니다.

평가 세부 정보 (로그 확률, 예측 및 LLM as judge 지표) 는 Falcon-Arabic-7B-Base 에 대해 https://huggingface.co/datasets/tiiuae/Falcon-Arabic-7B-Base-details 에서 이용 가능합니다.

기초 모델 훈련을 완료한 후, 우리는 인간 선호도에 따라 Falcon-Arabic 의 응답을 미세 조정하기 위해 포스트 훈련 정렬 (post-training alignment) 단계를 수행했습니다. 이 단계는 **지도 학습 미세 조정 (SFT)**으로 시작하여 고품질 공개 데이터셋과 내부 수집된 원생 아랍어 지시 데이터의 조합을 사용하여 다양한 작업 및 대화 시나리오를 포함했습니다.

정렬을 더욱 향상시키기 위해, 우리는 인간이 더 유용하고 안전하며 관련성 높다고 평가하는 출력을 선호하도록 모델을 조정하는 강화 학습 기반 방법인 **직접 선호 최적화 (DPO)**를 적용했습니다. 이 2 단계 프로세스는 Falcon-Arabic Instruct 가 아랍어를 잘 이해할 뿐만 아니라 실제 사용자 기대에 부합하는 방식으로 응답하도록 보장합니다.

결과 플롯에서 보듯이, Falcon-Arabic Instruct 는 모든 다른 정렬된 아랍어 LLM 을 압도하며 그 크기 클래스와 심지어 여러 벤치마크에서 훨씬 더 큰 모델을 능가합니다. 모델은 지시 준수 및 오픈 엔드 대화 모두에서 강력한 성능을 보여주며 아랍어 대화형 AI 의 새로운 표준을 설정했습니다.

평가 세부 정보 (로그 확률, 예측 및 LLM as judge 지표) 는 Falcon-Arabic-7B-Instruct 에 대해 https://huggingface.co/datasets/tiiuae/Falcon-Arabic-7B-Instruct-details 에서 이용 가능합니다.

Falcon-Arabic 은 아랍어 언어 모델의 새로운 기준을 세웠습니다. 파라미터가 7B 만인 Falcon-Arabic 은 아랍어 MMLU, MadinahQA, Aratrust 와 같은 주요 벤치마크에서 성능이 가장 뛰어난 모델을 능가하며, 심지어 그보다 훨씬 큰 모델까지도 압도하는 결과를 보여줍니다. 이 모델은 현대 표준 아랍어의 유창성, 지역 방언에 대한 강력한 이해력, 그리고 견고한 추론 및 다국어 능력을 결합하여 다양한 응용 분야에 이상적입니다: 아랍어 우선 채팅봇과 교육 도구부터 콘텐츠 생성, 코드 지원, 문서 이해까지.

Falcon-Arabic 이 무엇을 할 수 있는지 직접 경험해 보도록 하기 위해, 우리는 기계 번역 기능을 보여주는 간단한 데모를 만들었습니다. 이 모델은 해당 작업에 특화되어 세밀하게 튜닝되지 않았음에도 불구하고, 다양한 번역 방향에서 놀라울 정도로 강력한 결과를 보여줍니다. 아래 링크된 데모를 통해 직접 시도해 볼 수 있습니다. 사실, 우리는 동일한 설정을 사용하여 아랍어 사용자들을 위한 이 블로그 포스트를 아랍어로 번역했습니다. 여기 확인해보세요 🚀. 더 많은 것을 탐구하기 위해, 우리는 Falcon-Arabic Instruct 와 상호작용하며 다양한 작업에 대한 성능을 경험할 수 있는 라이브 플레이그라운드에 액세스할 수도 있습니다 ✨.

모든 대형 언어 모델과 마찬가지로 Falcon-Arabic 은 몇 가지 일반적인 한계를 상속받습니다. 이는 환각 (합리적이지만 잘못된 출력 생성), 프롬프트가 어떻게 표현되는지에 대한 민감도, 그리고 매우 긴 컨텍스트에 따른 성능의 변동성을 포함합니다. Falcon-Arabic 은 이러한 문제를 특히 아랍어 작업에서 줄이기 위해 설계되었으나, 사용자는 여전히 결과를 해석할 때 비판적 사고를 적용해야 하며, 특히 고위험 또는 사실 민감한 사용 사례에서는 더욱 그렇습니다.

이 작업이 연구나 프로젝트에 도움이 된다면, 인용을 고려해 주세요.

@misc{falcon-arabic,
title = {Falcon-Arabic: A Breakthrough in Arabic Language Models},
author = {Falcon-LLM Team},
...