H100 여덟 장이 필요하던 모델을 두 장으로 줄였음

노타가 업스테이지 솔라 오픈2를 경량화한 결과임. 가중치 메모리가 500.6GB에서 117.8GB로 76.5% 줄었고, 메모리 기준으로 H100 8장이 필요하던 게 2장 환경에서 돌아감. 추론 성능 평균 점수는 81.57에서 81.17로 거의 그대로였음.

솔라 오픈2는 매개변수가 2,500억 개인데 실제 작업에는 150억 개만 켜지는 MoE 구조임. 노타는 여기에 데이터 기반 양자화와 라우터 인지형 양자화, 비균일 전역 프루닝을 걸었음. 줄이고 나서도 에이전트의 핵심인 툴 호출은 안정적으로 유지됐다고 함.

이게 왜 중요하냐면, 기업이 클라우드 모델을 못 쓰는 이유가 데이터를 밖으로 내보내야 해서임. 오픈웨이트를 자기 서버에서 돌리면 그 문제가 사라지는데 걸림돌이 GPU 여덟 장이었음.

그게 두 장이면 얘기가 달라짐. 모델을 크게 만드는 경쟁과 별개로, 남의 모델을 자기 서버에 욱여넣는 기술이 따로 시장이 되고 있음.