https://huggingface.co/swiss-ai/Apertus-v1.5-70B https://huggingface.co/swiss-ai/Apertus-v1.5-8B Apertus 1.5는 다국어, 멀티모달 (multimodal), 완전 개방형 및 투명한 AI의 상태를 발전시키기 위해 설계된 8B 및 70B 파라미터 언어 모델 제품군입니다. 이 모델들은 광범위한 언어를 지원하고, 최대 262,144 토큰의 컨텍스트 (context)를 처리하며, 유사한 크기의 다른 모델들과 대등한 성능을 제공하는 동시에 오직 완전 개방형 학습 데이터만을 사용합니다. 출시된 모델들은 Apertus 1.0의 지속적인 사전 학습 (pretraining) 결과물로, 8B 모델에는 4T 토큰의 멀티모달 믹스를, 70B 모델에는 2T 토큰을 추가하였습니다. 따라서 Apertus 1.5는 기존 출시 버전과 동일한 아키텍처를 사용하며, AdEMAMix 옵티마이저 (optimizer)로 학습된 xIELU 활성화 함수 (activation function)를 사용하는 디코더 전용 트랜스포머 (decoder-only transformer)입니다. 개선된 사후 학습 (post-training) 레시피는 모델의 지시 이행 (instruction-following) 및 도구 사용 (tool-use) 능력을 향상시키며, 처음으로 개발자들이 추론 (reasoning) 작업에서 모델의 성능을 높일 수 있도록 사고 모드 (thinking mode)를 활성화할 수 있게 합니다. Apertus 제품군 최초로 Apertus 1.5 모델은 멀티모달 입력을 지원합니다. 모델은 이미지, 오디오, 텍스트를 입력으로 받아 텍스트를 생성합니다. 이를 통해 개발자들에게 새롭고 흥미로운 많은 활용 사례를 제공합니다.

주요 특징
완전 개방형 모델: 오픈 웨이트 (open weights) + 오픈 데이터 (open data) + 모든 데이터 및 학습 레시피를 포함한 전체 학습 세부 정보.
대규모 다국어 지원: 매우 다양한 언어 지원.
책임감 있는 개발: Apertus는 가능한 경우 데이터 소유자의 옵트아웃 (opt-out) 동의를 존중하며 (소급 적용 포함), 학습 데이터의 암기 (memorization)를 방지하는 방법과 함께 학습됩니다.
네이티브 오디오 및 이미지 이해: Apertus 1.5는 오디오 및 이미지 입력을 처리하기 위한 멀티모달 지원을 도입하여, 텍스트를 넘어 더욱 직관적이고 다재다능한 상호작용을 가능하게 합니다.
추론: 모델은 응답을 생성하기 전에 입력값에 대해 추론할 수 있도록 사고 모드 (thinking mode)로 전환될 수 있습니다.

긴 컨텍스트 (Long Context): Apertus 1.5는 기본적으로 최대 262,144 토큰의 컨텍스트 길이 (context length)를 지원하며, 이는 초기 Apertus 1.0 출시 버전보다 4배 증가한 수치입니다. 개선된 지시 이행 (Instruction-Following): 지시 준수 (instruction adherence) 능력이 크게 향상되어, 사용자 프롬프트에 대해 더욱 예측 가능하고 정확한 응답을 보장합니다. 개선된 도구 사용 (Tool Use): Apertus 1.5는 더 나은 도구 통합 (tool integration)을 위해 학습되었으며, 이를 통해 외부 도구 및 API를 더욱 효과적으로 사용할 수 있습니다. 벤치마크 결과, 학습 파이프라인 (training pipelines) 및 중간 체크포인트 (intermediate checkpoints)를 포함한 상세 정보가 담긴 기술 보고서 (technical report)가 향후 몇 주 내에 발표될 예정입니다. /u/jacek2023 제출 [link] [comments]