요약

InternLM은 35B 파라미터의 과학 멀티모달 파운데이션 모델인 Intern-S2-Preview를 공개했습니다. 이 모델은 기존의 파라미터 스케일링을 넘어, 전문 과학 과업의 난이도와 범위를 확장하는 '태스크 스케일링' 방식을 채택하여 개발되었습니다. 그 결과, 35B라는 비교적 작은 크기에도 불구하고 여러 핵심 전문 과학 과업에서 조 단위 규모 모델에 필적하는 성능과 강력한 일반 추론 및 에이전트 역량을 갖추게 되었습니다.

핵심 포인트

• Intern-S2-Preview는 35B 파라미터의 효율적인 과학 멀티모달 파운데이션 모델입니다.
• 모델은 사전 학습부터 강화 학습(RL)까지 전체 체인 학습 파이프라인을 통해 전문 과학 과업 스케일링을 수행했습니다.
• 소분자 구조 공간 모델링 및 실수 값 예측 모듈 도입으로 재료 결정 구조 생성 능력을 강화한 최초의 오픈 소스 모델입니다.
• MTP와 CoT 압축 기술을 적용하여 RL 추론 과정에서 효율성을 높이고 성능과 응답 길이 모두를 개선했습니다.