서론

우리는 효율적인 35B 과학 멀티모달 파운데이션 모델 (foundation model)인 Intern-S2-Preview를 소개합니다. 기존의 파라미터 및 데이터 스케일링 (scaling)을 넘어, Intern-S2-Preview는 모델의 역량을 더욱 끌어올리기 위해 과학적 과업의 난이도, 다양성 및 범위를 확장하는 **태스크 스케일링 (task scaling)**을 탐구합니다.

전문적인 과학적 과업을 사전 학습 (pre-training)부터 강화 학습 (reinforcement learning, RL)에 이르는 전체 체인 학습 파이프라인 (full-chain training pipeline)으로 확장함으로써, Intern-S2-Preview는 **35B 파라미터 (Qwen3.5로부터 지속 사전 학습됨)**만을 사용하면서도 여러 핵심 전문 과학 과업에서 조 단위 규모의 Intern-S1-Pro에 필적하는 성능을 달성했습니다. 동시에 강력한 일반 추론 (general reasoning), 멀티모달 이해 (multimodal understanding) 및 에이전트 (agent) 역량을 유지합니다.

특징

• 전체 체인 학습을 통한 과학적 태스크 스케일링 (Scientific task scaling with full-chain training). Intern-S2-Preview는 사전 학습부터 RL에 이르기까지 수백 개의 전문 과학 과업을 스케일링하여, 단 35B 파라미터만으로 여러 전문 분야에서 강력한 성능을 발휘합니다. 또한 소분자 구조에 대한 공간 모델링 (spatial modeling)을 더욱 강화하고 실수 값 예측 모듈 (real-valued prediction modules)을 도입하여, 재료 결정 구조 생성 능력과 강력한 일반 역량을 모두 갖춘 최초의 오픈 소스 모델이 되었습니다.
• 과학적 워크플로우를 위한 강화된 에이전트 역량 (Enhanced agent capabilities for scientific workflows). Intern-S2-Preview는 이전 세대보다 에이전트 능력 (agentic abilities)을 크게 향상시켜, 여러 과학 에이전트 벤치마크 (agent benchmarks)에서 강력한 결과를 달성했습니다.
• MTP 및 CoT 압축을 통한 효율적인 RL 추론 (Efficient RL reasoning with MTP and CoT compression). RL 과정에서 Intern-S2-Preview는 학습과 추론 동작 사이의 불일치를 줄이기 위해 KL 손실 (KL loss)을 포함한 가중치 공유 MTP (shared-weight MTP)를 채택하여, MTP 수락률 (accept rate)과 토큰 생성 속도를 실질적으로 개선했습니다. 또한 강력한 추론 능력을 유지하면서 응답 길이를 단축하는 CoT (Chain-of-Thought) 압축 기술을 도입하여 성능과 효율성 모두에서 개선을 이루었습니다.