하이브리드 아키텍처 기반, 대규모 아랍어 언어 모델 Falcon-H1-Arabic 공개

Falcon 연구팀은 아랍어 자연어 처리 (NLP) 분야에서 새로운 기준을 제시하는 가장 진보된 아랍어 언어 모델 패밀리, Falcon-H1-Arabic를 발표했습니다. 이 모델은 수개월간의 연구와 커뮤니티 피드백을 바탕으로 탄생했으며, 기존 모델들이 가진 한계를 근본적으로 재고한 결과물입니다.

🚀 하이브리드 아키텍처: Mamba와 Transformer의 결합

Falcon-H1-Arabic의 핵심은 하이브리드 아키텍처에 있습니다. 이 구조는 State Space Models (SSM)인 Mamba와 전통적인 Transformer 어텐션 메커니즘을 각 블록 내에서 병렬로 통합합니다. 두 구성 요소가 동시에 작동하며, 그 표현(representation)들을 융합하여 출력하는 방식입니다.

이러한 설계의 장점은 명확합니다. 첫째, Mamba가 제공하는 **선형 시간 복잡도 (linear-time scalability)**를 통해 극도로 긴 시퀀스 처리가 가능해집니다. 둘째, 어텐션 메커니즘이 가진 정밀한 장거리 모델링(long-range modeling) 능력을 유지합니다. 아랍어는 풍부한 형태론과 유연한 문장 구조를 가지므로, 이 하이브리드 접근 방식은 긴 텍스트 전반에 걸쳐 일관성과 추론 능력을 크게 향상시킵니다.

이 모델 패밀리는 세 가지 규모(3B, 7B, 34B 파라미터)로 제공되어, 경량 분석부터 엔터프라이즈급 장문 문서 처리까지 다양한 사용 사례에 맞게 효율성과 용량을 균형 있게 갖추고 있습니다.

📚 압도적인 컨텍스트 창 확장 (Up to 256K Tokens)

이전 Falcon-Arabic 모델의 32K 토큰 제한을 크게 뛰어넘어, Falcon-H1-Arabic는 혁신적인 컨텍스트 처리 능력을 선보입니다.

• 3B 모델: 128K 토큰 지원
• 7B 및 34B 모델: 256K 토큰 지원

256K 토큰(약 20만 단어)이라는 방대한 컨텍스트 창은 여러 권의 소설이나 수백 페이지에 달하는 기술 문서를 한 번에 처리할 수 있게 합니다. 이는 법률 분석, 의료 기록 검토, 학술 연구 등 이전에 실용적이지 않았던 고난도 장문 문서 응용 분야를 가능하게 합니다.

🌐 아랍어 특화 데이터 파이프라인 재구축

아랍어의 복잡성을 반영하기 위해 전처리 과정 전체가 근본적으로 개편되었습니다. 단순히 휴리스틱 필터링에 의존하는 대신, 아랍어의 정서법(orthography), 형태론(morphology), 모음 부호(diacritics), 통사적 패턴을 고려한 다단계 심층 언어 분석 과정을 거쳤습니다.

또한, 아랍어는 단일하지 않기 때문에 (Modern Standard Arabic와 Egyptian, Levantine 등 다양한 방언이 공존), 모델이 공식적인 MSA에 치우치지 않고 실제 세계의 전체 스펙트럼을 이해하고 생성하도록 **방언적 소스(dialectal sources)**를 대폭 확장했습니다. 글로벌 추론 및 도메인 다양성을 유지하기 위해 아랍어, 영어, 다국어 콘텐츠를 포함하여 총 약 3000억 토큰 규모로 학습되었습니다.

✨ 최적화된 후속 학습 (SFT & DPO)

사전 학습(Pre-training) 이후에는 두 단계의 집중적인 후속 학습을 거칩니다. 먼저 **지도 미세 조정 (Supervised Fine-Tuning, SFT)**을 통해 고품질 아랍어 지침, 장문 컨텍스트 예시, 구조화된 추론 과제에 노출시켜 모델이 지시를 따르고 긴 시퀀스에서 일관성을 유지하도록 훈련합니다. 이후 직접 선호도 최적화 (Direct Preference Optimization, DPO) 단계를 거쳐 정렬(alignment)과 대화 품질을 다듬습니다. 이 과정을 통해 모델은 장문 추론 능력과 일반적인 언어 역량을 균형 있게 갖추게 됩니다.