Apertus 1.5 출시 노트

Apertus 1.5는 초기 세대 모델에 대한 지속적인 사전 학습(pretraining)입니다. 8B 모델에는 4조 개의 텍스트 및 멀티모달 학습 데이터가, 70B 모델에는 2조 개의 데이터가 추가되어 각각 총 19T와 17T를 달성했습니다. 모든 Apertus 출시 버전과 마찬가지로, 이 모델들은 완전히 공개됩니다: 오픈 가중치(open weights), 오픈 데이터(open data), 오픈 값(open values) 및 전체 학습 세부 정보가 제공됩니다.

네이티브 멀티모달 이해 (Native Multimodal Understanding): Apertus 1.5는 텍스트와 함께 이미지 및 오디오를 받아들여 문서, 다이어그램, 사진을 대화에 포함할 수 있습니다. 또한 모델은 음성 언어 처리도 가능하지만, 이는 여전히 실험적인 단계입니다.
사고 모드 (Thinking Mode): 모델은 답변하기 전에 입력에 대해 추론(reason)할 수 있는 사고 모드로 전환될 수 있으며, 이는 추론 문제에서 성능을 향상시킵니다.
긴 컨텍스트 (Long Context): 컨텍스트 창이 262,144 토큰으로 증가하여 Apertus 1.0 대비 4배 증가했습니다.
개선된 명령어 준수 (Improved Instruction-Following): Apertus 1.0보다 향상된 명령어 준수로 더욱 예측 가능하고 정확한 응답을 제공합니다.
향상된 도구 사용 (Improved Tool Use): 모델은 더 나은 도구 통합을 위해 학습되어 외부 도구 및 API를 보다 효과적으로 사용할 수 있습니다.
오픈 값 (Open Values): Apertus Charter에 대한 준수가 강화되어 모델의 가치와 원칙에 투명성을 제공합니다.

Apertus 1.5 training pipeline with four stages of continued pretraining followed by SFT, long-context SFT, RLVR, DPO, and SDPO

Apertus 1.5 전체 학습 파이프라인

저희는 v1.5 모델에서 이미지를 처리하는 방식을 초기 융합(early-fusion) 방식으로 도입했습니다. 이 방식에서는 이미지와 오디오가 별도의 비전 인코더를 사용하는 대신, 텍스트 토큰과 동일한 시퀀스 내의 개별 토큰으로 Apertus에 들어옵니다. 이미지는 Emu3.5 토크나이저(512×512 이미지가 1,024개의 토큰이 됨)로 토큰화되며, 오디오는 WavTokenizer를 사용합니다(초당 40개 토큰). 저희는 어휘(vocabulary)만 확장했기 때문에 아키텍처는 변경되지 않았고 학습은 텍스트 전용 속도로 진행됩니다. 모델은 이미지와 오디오를 이해하지만 텍스트만 생성합니다.

Apertus 1.0부터, 저희는 네 단계에 걸쳐 사전 학습을 지속했습니다:

Unpaired: 개별 이미지 및 오디오와 함께 텍스트를 사용하여 모델이 새로운 모달리티(modalities)를 학습합니다.Paired: 이미지–캡션 쌍과 오디오–스크립트 쌍을 사용하여 언어에 맞춰 정렬합니다.Cooldown: 수학 및 코드 관련 데이터가 더 많은 고품질 데이터를 의미합니다.Long context: 컨텍스트 창(window)이 8k에서 262k 토큰까지 단계적으로 증가했습니다. 전체적으로, 학습 토큰의 절반 이상은 텍스트 전용이며, 이는 Apertus 1.0의 언어 능력을 유지합니다. 텍스트 데이터는 FineWeb2-HQ+, FinePDFs, Nemotron-CC와 같은 출처로 새로 고쳐졌습니다. 모든 새로운 데이터(멀티모달 포함)는 이전과 동일한 기준을 충족합니다: 공개적으로 사용 가능하고, 허가 가능한 라이선스를 가지며, robots.txt 제외 목록이 소급하여 존중됩니다. 각 출처는 apertus-data-transparency에 나열되어 있습니다.

사후 학습(Post-training)은 다섯 단계로 진행됩니다: SFT → long-context SFT → RL → DPO → charter alignment (SDPO).

SFT는 3.7M개의 텍스트 샘플과 이미지 및 음성 데이터를 기반으로 합니다. 추론 과정(Reasoning traces)은 모델이 이미 그 없이도 해결할 수 있는 프롬프트에는 추가되지 않습니다. 도구 사용 데이터는 실행 검증된 궤적(execution-verified trajectories)으로 제한됩니다. 저희가 Hugging Face에서 사용한 텍스트 SFT 혼합 데이터를 공개합니다.Long-context SFT는 전체 262k 창을 사용하여 짧은 컨텍스트 SFT로 인해 약화되었던 장문맥 능력을 복원합니다.**RL with verifiable rewards (RLVR)**는 약 350k개의 수학, 코드, 명령어 수행(instruction-following), 다국어 및 비전 프롬프트를 기반으로 하며, 사고 과정(thinking)을 포함하고 제외하는 것을 혼합했습니다.DPO는 심사위원 점수 기반의 선호 쌍(preference pairs)을 사용하여 채팅 품질, 도구 사용 및 안전성을 향상시킵니다. 저희가 선호 풀과 학습 쌍을 공개합니다.SDPO는 심사 피드백과 자체 증류(self-distillation)를 통해 모델을 Apertus Charter에 맞춥니다.

확장된 모델 기능과 더불어, 평가 범위도 크게 확장했습니다. Apertus 1.0에 사용되었던 기존의 텍스트 기반 평가 외에도, 멀티모달 평가(이미지 및 오디오)와 사고 모드 평가를 추가했습니다.

멀티모달 평가는 lmms-eval과 VLMEvalKit이라는 두 가지 주요 멀티모달 평가 프레임워크를 병합한 MLLM-eval-suite 파이프라인을 통해 수행되었습니다. 또한, 텍스트 기반 벤치마크 시리즈와 번역 및 다국어 기능, 안전성, 도구 사용에 대한 확장된 벤치마킹도 추가했습니다. 이 내용은 lm-evaluation-harness 포크를 기반으로 하는 저희의 사후 학습 평가 저장소에서 확인할 수 있습니다.

최첨단 오픈 웨이트 모델에는 아직 미치지 못하지만, 새로운 버전은 코딩 및 명령어 추종(instruction following) 기능에서 성능을 크게 개선하여 Apertus 1.5 8B가 IF 및 다국어 작업에서 비슷한 크기의 오픈 웨이트 모델보다 우수한 성능을 보였습니다. Thinking 기능을 사용하면 AIME과 같은 까다로운 추론 중심 벤치마크의 성능이 향상됩니다. 이 모델의 멀티모달 성능은 Gemma 4 12B 및 기타 현재 오픈 웨이트 모델에 근접합니다. Apertus 1.5의 멀티모달 성능은 오픈 웨이트 모델 중 공간 이해(spatial understanding)와 오픈 소스 모델 중 문서/차트 이해 측면에서 경쟁력이 있습니다.

또한, 저희는 Apertus 기능의 효율적인 벤치마킹에 도움을 준 협력자 및 외부 평가자들에게 감사를 표합니다. 특히, Apertus 1.5는 스위스 법률(Swiss Legal) 작업에서 강력한 성능을 보여주어 선도적인 오픈 웨이트 모델과 동등한 수준입니다 (블로그, 코드). 게다가, Last Translation Benchmark에서는 Apertus 1.5 8B가 GPT-OSS-20B와 견줄 만하며 Claude Haiku 4.5나 Google Translate 같은 모델보다 뛰어난 기계 번역(machine translation) 능력을 보여줍니다 (리더보드, 논문).

Apertus는 완전하게 투명하고 재현 가능한 벤치마킹을 보장하기 위해 EvalEval Coalition과 협력합니다. 저희는 Apertus 1.5 결과를 Every Eval Ever (EEE) 스키마에 게시하는데, 이 공유 형식은 점수뿐만 아니라 누가 평가를 수행했는지, 모델에 어떻게 접근했는지, 생성 설정(generation settings), 그리고 각 지표가 어떻게 해석되어야 하는지 등 기록합니다. 이러한 세부 정보는 리더보드에서 일반적으로 누락되며 종종 유사해 보이는 점수가 다른 이유를 설명해 줍니다.

결과는 아래의 Eval Card에 표시되며, 여기서는 실행 데이터와 벤치마크 및 모델 메타데이터를 하나의 해석 가능한 기록으로 결합합니다. 또한 Hugging Face Community Evals에서도 이용할 수 있습니다. 이는 영국 AI 보안 연구소(UK AI Security Institute)가 평가 결과를 공개적으로 발표하는 데 사용하는 것과 동일한 인프라입니다. 저희의 텍스트 평가는 lm-evaluation-harness의 공개 포크에서 실행되며, EEE가 전용 컨버터를 지원하므로 누구나 동일한 설정 하에 이들을 재실행하고 저희의 수치와 비교할 수 있습니다.

구조화된 평가 보고(Structured evaluation reporting)는 연구를 넘어 중요합니다. EvalEval은 Evaluation Card를 AI 거버넌스 요구사항, 특히 EU AI Act 제55조 및 GPAI Code of Practice에 매핑했으며, EEE 스키마가 이러한 프레임워크가 요구하는 60개의 평가 보고 요소 중 56개를 표현할 수 있음을 발견했습니다. 이는 우리가 Apertus를 이미 출시하는 방식과 일치합니다. 즉, 모델과 함께 '훈련 콘텐츠 공개 요약(Public Summary of Training Content)'을 게시하고, 자발적으로는 '실천 강령(Code of Practice)' 문서를 게시하는 것입니다. 기계가 읽을 수 있는 평가 기록은 자연스러운 다음 단계입니다. 이는 규제 기관, 배포자, 연구자들이 모델 뒤에 숨겨진 증거를 찾고, 해석하고, 비교하기 쉽게 만듭니다.

저희는 Eval Card와 EEE 스키마를 통해 재현 가능하고 투명한 평가를 장려하는 데 전념하며, 다른 모델 개발자들도 동일한 방식으로 결과를 보고하여 점수를 모델과 조직 간에 비교할 수 있도록 하기를 권장합니다.

모든 레시피(recipes), 제거 변수 연구(ablations), 데이터 혼합은 기술 보고서(Technical Report)에 문서화되어 있습니다. 저희는 v1.5 훈련 과정을 공개적이고 접근 가능하게 만들어 개방형 모델 개발을 대중화하는 것을 목표로 합니다. 중간 체크포인트는 Apertus 1.5 Hugging Face 컬렉션에 호스팅되며, 여기에는 기본 가중치(base weights), SFT, RLVR 및 DPO뿐만 아니라 Apertus 1.5 datasets 컬렉션의 저희가 선별한 훈련 데이터 혼합/커스텀 데이터셋도 포함됩니다. 이를 공유함으로써 연구자들은 각 단계가 모델 행동을 어떻게 변화시키는지 조사할 수 있습니다.

본 보고서는 다양한 단계에서 후속 학습(post-training) 데이터가 미치는 영향에 대한 수많은 제거 실험(ablations)을 다루고 있으며, 특히 SFT 과정에서 텍스트 데이터와 혼합된 멀티모달 데이터가 모든 모달리티 전반의 성능 향상에 도움을 준다는 것을 관찰했습니다. 또한, 멀티모달 추론 흔적(multimodal reasoning traces)의 이점이 이후 텍스트 전용 강화학습(reinforcement learning)에서도 유지됨을 발견했습니다. 즉, 멀티모달 추적(traces)으로 학습된 SFT 체크포인트에서 시작하는 경우, 텍스트 전용 체크포인트에서 시작하는 경우보다 수학 성능이 더 향상되며, 이러한 이점은 전체 학습 과정 동안 추론 작업에서 지속됩니다.

Proton Lumo와 Infomaniak Euria는 최근 Apertus 1.5를 통합한 두 개의 널리 사용되는 애플리케이션입니다. 이러한 배포 사례들은 커뮤니티 쇼케이스(Community Showcase) 등에서 연결되어 있습니다. 미리 보기는 이 토론 스레드를 참고하십시오.

Swisscom, Infomaniak, Phoeniqs 및 저희의 **일반 사용 가능 가이드(General Availability guide)**에 나열된 다른 회사들을 포함하여 다양한 제공업체들이 개발자를 위한 API 형태로 Apertus 1.5 접근을 발표했습니다. 이 보고서에는 또한 모델 테스트 및 준비를 위해 외부 평가자들과 협력하는 방법에 대한 세부 정보도 제공합니다.

모델 실행에 대한 기술 지침은 Hugging Face의 Apertus 릴리스 모델 카드와 저희 **빠른 시작 가이드(Quickstart guide)**에 있습니다.

이 블로그 게시글을 읽어주시고 커뮤니티의 일원이 되어 주셔서 감사합니다! 저희는 방금 Hugging Face 분석에서 5백만 다운로드를 기념했으며 🤗 속도를 늦추지 않고 있습니다. 최근 취리히에서 열린 AI+X Summit에서는 저희 팀이 Apertus 2.0 로드맵을 발표했습니다: 희소/MoE(sparse/MoE) 아키텍처, 약 600B 총 파라미터, 확장된 학습 일정이며, 에이전트, 수학, 코딩을 우선순위로 합니다.

요약하자면: 저희는 여러분이 보고서를 읽고, 모델을 다운로드하고, 중간 체크포인트를 탐색하며, 가중치를 미세 조정하고, 우리의 평가를 재현해 주시기를 권장합니다. 이미 저희 출판물이나 웹사이트 FAQ에 포함되지 않은 질문은 언제든지 환영이며, 미래의 심층 분석(deep dive)을 위해 커뮤니티에게 가장 유용할 주제가 무엇일지 듣는 것도 정말 좋을 것 같습니다.

Apertus를 구축하거나 사용하는 경우, 쇼케이스 양식을 작성하고 연락처 페이지의 옵션을 통해 문의해 주십시오. 저희는 더 많은 작업을 강조 표시하고, 여러분이 무엇을 만들고 있는지 배우며, Apertus가 어떻게 개선될 수 있는지 듣기를 기대합니다!

Project Apertus 외. “Apertus 1.5: Open Text Models에서 Open Multimodal Reasoners로.” arXiv:2610.15542. 사전 인쇄본(Preprint), arXiv, 2026년 10월 11일. https://doi.org/10.48550/arXiv.2610.15542.