Laguna M.1/XS.2 기술 보고서
요약
에이전트 기반 코딩을 위해 설계된 두 가지 MoE 파운데이션 모델인 Laguna M.1과 XS.2를 소개합니다. Model Factory 시스템을 통해 엔드 투 엔드로 학습되었으며, 소프트웨어 엔지니어링 벤치마크에서 뛰어난 성능을 입증했습니다.
핵심 포인트
- M.1(225.8B)과 XS.2(33.4B) 두 가지 MoE 모델 공개
- Model Factory를 통한 산업적 모델 개발 프로세스 구축
- SWE-bench 등 주요 벤치마크에서 최첨단 성능 달성
- Laguna XS.2 모델 가중치 Apache 2.0 라이선스로 공개
우리는 장기적 관점의 에이전트 기반 코딩 (agentic coding)을 위해 구축된 두 가지 Mixture-of-Experts (MoE) 파운데이션 모델인 Laguna M.1과 Laguna XS.2를 선보입니다. M.1은 총 $225.8$B 개의 파라미터 (토큰당 $23.4$B 활성화)를 보유하고 있으며, XS.2는 총 $33.4$B 개 ($3$B 활성화)의 파라미터를 보유하고 있습니다. 두 모델 모두 우리가 Model Factory라고 부르는 동일한 내부 시스템 내에서 엔드 투 엔드 (end-to-end) 방식으로 처음부터 학습되었습니다. Model Factory는 모델 개발을 산업적 프로세스로 전환하는 버전 관리된 데이터, 학습, 평가 및 추론 구성 요소의 긴밀하게 통합된 스택입니다. 우리는 Model Factory의 원칙과 설계 선택 사항을 설명하며, 사전 학습 (pre-training) 데이터 및 아키텍처, 사후 학습 (post-training) 단계, 평가 및 양자화 (quantization)를 포함한 모델의 엔드 투 엔드 학습 과정을 상세히 기술합니다. 에이전트 기반 소프트웨어 엔지니어링 및 터미널 벤치마크 (SWE-bench Verified, SWE-bench Multilingual, SWE-Bench Pro, 그리고 Terminal-Bench 2.0)에서 M.1과 XS.2는 각각의 파라미터 규모 내에서 최첨단 (state-of-the-art) 오픈 모델들과 경쟁할 만한 성능을 보여줍니다. Laguna XS.2의 가중치는 Apache~2.0 라이선스 하에 https://huggingface.co/collections/poolside/laguna-xs2 에서 공개됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기