중국 연구소에서 모델이 출시될 때마다, 스레드는 이미 누가 만들었는지 알고 있는 사람들로 가득 차며, 그 추측은 대개 Alibaba입니다. 최근 이곳에는 오픈 소스 연구소와 프런티어 (Frontier) 연구소를 구분하는 기준이 무엇인지 묻는 스레드가 있었습니다. 거의 60개의 댓글이 달렸지만, 그중 오픈 소스 측의 연구소들을 구분해낸 사람은 거의 없었습니다. 그들은 하나의 블록(bloc)이 아니며, 한동안 그래왔던 적이 없습니다. 저는 Ant에서 Ling 모델을 개발하고 있으므로, 저 또한 하나로 묶이는 사람들 중 한 명입니다. 제 고용주에 관한 단락은 그에 맞춰 감안해서 읽어주시기 바랍니다. Qwen의 도박은 배포 (distribution)입니다. Alibaba는 모든 크기 클래스와 모든 양자화 (quantization) 버전을 출시하며, 대부분의 런타임 (runtime)에서 출시 첫날부터 지원합니다. 그 결과, 사람들이 구축하는 많은 파인튜닝 (fine-tune) 모델들이 Qwen 베이스에서 시작됩니다. 반면 DeepSeek는 아키텍처 (architecture)에 도박을 걸고 있습니다. 논문과 가중치 (weights)를 같은 날에 공개하여 설계 자체가 논쟁하게 만듭니다. Moonshot은 더 긴 지평을 보고 있는 것으로 보입니다. 만약 두 사이클 뒤에 결실을 맺을 수 있다면, 한 사이클 동안은 이상해 보이더라도 기꺼이 감수하려 합니다. (Zhipu, MiniMax, StepFun은 각각 또 다른 영역을 구축하고 있지만, 네 가지만으로도 요점을 전달하기에는 충분합니다.) 제 고용주에 대해 구체적으로 말해야 하므로 Ant의 도박을 언급하자면, 그것은 서빙 비용 (serving cost)입니다. Ant는 결제 서비스를 운영하며, Alibaba와는 별개의 회사입니다. 제가 가장 자주 보는 혼동이 바로 이 부분입니다. 제가 작업하는 모델인 Ling-3.0-flash는 총 파라미터(parameters)가 124B이며, 토큰당 활성 파라미터는 약 5.1B입니다. KDA 및 MLA 하이브리드 어텐션 (hybrid attention)을 사용하며, 컨텍스트 (context)는 262k입니다. 이는 많은 수의 긴 에이전트 루프 (agent loops)를 저렴하게 실행하기 위한 설계입니다. 리더보드 (leaderboard) 1위를 차지하기 위한 설계가 아니며, 저희도 그렇게 주장하지 않을 것입니다. 저희 버전에서 제가 비판하고 싶은 부분은 출시 순서입니다. 저희는 먼저 발표를 하고 나중에 가중치를 공개합니다. SGLang은 출시 첫날부터 지원이 가능했고, vLLM은 가중치를 기다리고 있으며, llama.cpp는 아직 오픈 PR 상태입니다. DeepSeek라면 가중치를 먼저 공개하고 서빙 스택 (serving stack)이 따라잡게 만들었을 것입니다. 저희의 방식은 인프라 (infra) 팀에게는 더 안전한 순서이지만, 집에서 직접 모델을 돌리려는 바로 그 사람들의 호의를 잃는 대가를 치르고 있습니다.

그래서 제가 여기서 궁금한 점은 이것입니다: 중국 연구소의 발표를 볼 때, 어느 연구소인지 아는 것이 그 내용을 읽는 방식을 바꾸나요, 아니면 그 구분이 내부자들에게만 흥미로운 것인가요? /u/AcanthisittaOk1699 제출 [link] [comments]