업스테이지, GPU 한 장에서 실행하는 Solar Mini 4 발표

• 정보 조회, 문서 분류, 도구 호출처럼
  반복되는 에이전트 작업을 적은 연산과 비용으로 처리하는 언어 모델
• 총
  350억 파라미터 중 토큰당 30억만 활성화하는 MoE 구조이며, 양자화 모델은 H100 80GB 한 장에서 배포 가능
• Artificial Analysis Intelligence Index에서
  24.1점을 기록해, 비교 대상인 활성 파라미터 30억 모델 가운데 가장 높은 성능을 보임
  512K 컨텍스트, JSON 구조화 출력과 병렬 도구 호출을 지원해 긴 문서 처리와 사내 시스템 연동에 활용 가능
• API 정가는 100만 토큰당
  입력 0.10달러·출력 0.40달러이며, API와 Solar Chat 외에 기업 내부 서버 배포도 지원

반복 업무를 위한 소형 에이전트 모델

Solar Mini 4는 업스테이지가 독자적으로 사전학습한 모델로, 계약서 항목 추출, 고객 문의 분류, 사내 규정에 따른 후속 처리 등에 초점을 맞춤
JSON Schema 기반 구조화 출력과 병렬 도구 호출을 지원해 여러 시스템의 정보를 조회하고 결과를 정해진 형식으로 반환할 수 있음

• 추론은 기본적으로 사용하지 않으며, 복잡한 분석이 필요하면
  reasoning_effort

로 수준을 조절할 수 있음

성능과 배포 조건

• 실제 SaaS 업무 수행을 평가하는
  AutomationBench-AA에서 22.3%, 규정 적용과 도구 사용을 평가하는 τ³-Banking에서 47.2점을 기록함
• 내부 측정에서는
  H100 두 장으로 동시 요청 32건을 처리하며 요청당 초당 70토큰 이상을 유지함
• 4K 입력·1K 출력, 프롬프트 캐싱 없이 측정한 결과임

최소 배포 구성은 양자화 모델 기준 H100 80GB 한 장이며, 처리량 측정 구성과는 다름

• 연산에는 30억 파라미터만 활성화하지만, 메모리에는 전체 350억 가중치를 올려야 함

가격과 이용 방법

Upstage Console API, Solar Chat, OpenRouter에서 이용할 수 있으며 온프레미스 배포도 지원함

• 100만 토큰당 정가는 입력
  0.10달러, 캐시 입력 0.01달러, 출력 0.40달러임
• Upstage Console은
  UTC 기준 10월 10일까지 70% 할인을 적용하며, 10월 11일부터 정가로 전환함

댓글과 토론