월 추론비로 수백만 달러를 쓰는 대기업이라면 약 600만 달러짜리 GB300 랙을 직접 구매할 만함
20.7TB 메모리 중 MXFP4 모델 전체를 올리는 데 10%도 필요하지 않고, 총 HBM 대역폭은 576TB/s라 평균 10만 토큰 문맥의 에이전트 작업 6,000개 이상을 약 30토큰/s로 병렬 실행할 수 있음
연간 감가상각과 전기료를 150만 달러, 평균 가동률을 50%로 잡으면 출력 토큰 100만 개당 0.6달러 미만이며 데이터도 사내에 남고 호스팅 서비스보다 10배 이상 저렴해짐
개방형 가중치 모델이 계속 발전하고 AI가 지속될 것이라 믿는 회사에는 랙 직접 구매를 결정할 확실한 근거가 처음 생긴 셈임

10만7천 달러 서버에서 Kimi 2.8을 실행해 대부분의 작업에서 초당 약 5만 토큰 이상을 처리하고 있음
이미 지난해 Claude와 Gemini에 지출했던 토큰 비용보다 더 많이 절약함

운영을 맡을 DevOps 인력 23명을 고용하면 40만70만 달러가 추가되고, 장애와 유지보수도 모두 회사 책임이 됨
그래도 비공개여야 하는 데이터에는 호스팅 LLM을 신뢰하지 않음

액체 냉각과 초고밀도 전력 설비를 갖춘 공간도 필요하므로 일반적인 코로케이션 시설이나 사내 서버실로는 감당하기 어려움

600만 달러짜리 랙과 기반 시설을 살 수 있는 회사라면 적용될 상업용 라이선스 조건까지 고려해야 해서 계산이 단순하지 않음

오히려 발전을 늦추는 행위라고 봤음
다른 연구소가 따라잡을 수 있는 건 최첨단 연구소의 모델을 증류하면서 그 연구소가 다음 세대에 재투자할 수익 일부를 빼앗기 때문임
완전한 가속을 원한다면 양대 연구소를 국유화하고 재귀적 자기개선(RSI)에 도달할 때까지 Manhattan Project처럼 폐쇄해야 한다고 봤지만, 답글의 반론을 보고 관점이 크게 바뀌었음

Kimi-K3 라이선스는 https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE에서 확인할 수 있음
연속된 12개월 동안 계열사 합산 매출이 2천만 달러를 넘는 Model as a Service 사업자는 상업적 사용 전에 Moonshot AI와 별도 계약을 체결해야 함
기존 조건에는 월간 활성 사용자 1억 명 이상이거나 상업 제품 매출이 2천만 달러를 넘으면 Kimi 이름을 표시해야 한다는 조항도 있음

다운로드할 수 있다는 점은 낫지만, 이 조건이라면 진정한 개방형 가중치나 오픈소스라고 부르기 어려워 아쉬움

라이선스 위반자를 어떻게 찾아내 소송 대상으로 삼을지도 의문임

에이전트가 지식 집약 분야와 코딩 영역을 웹 규모로 탐색하면서 지속적으로 확장하는 자기 진화형 계층적 지식 그래프라는 접근이 흥미로움

활성화 함수가 다시 tanh로 돌아온 걸 보면 기술의 유행이 순환하는 듯함

논문 6쪽에 따르면 tanh를 그대로 쓰는 게 아니라 f_gate(b,x) = b * tanh(x / b) * sigmoid(x)와 f_up(b,x) = b * tanh(x / b)를 사용함
그래프상으로는 x가 약 5보다 클 때 표현력이 나은 GLU의 장점과 0 직전 값이 솟는 SwiGLU의 장점을 함께 얻으려는 설계처럼 보임

지식 그래프 기반 작업 합성은 다양한 작업을 어떻게 빠짐없이 포괄할지라는 오랜 문제에 잘 맞는 접근임
새로운 지식이 생성되는 속도와 인간적·기계적 생성 방식에 관한 이론 연구로도 이어질 수 있어 보임

자체 에이전트 작업에 맞춰 미세 조정하려면 LoRA+DPO, GRPO 중 무엇이 현재 가장 나은지 궁금함

우선 LoRA+SFT가 적합하지만 모델이 커서 비용 부담이 상당할 것임
제공업체의 미세 조정 API를 기다리는 편이 낫고, 처음부터 강화학습이나 DPO 같은 오프폴리시 유사 강화학습으로 갈 필요는 없어 보임

다중 교사 온폴리시 증류에서 교사 모델이 무엇인지 궁금함
수학·코딩처럼 검증 가능한 영역은 이해되지만 생물학까지 포함한 것을 보면 더 큰 모델에서 증류하는 구조인지 의문임

https://thinkingmachines.ai/blog/on-policy-distillation/을 인용하고 있음
교사 모델이 문제를 푸는 학생 모델의 각 토큰을 매 단계의 생성 확률로 채점하고, 이를 보상이나 손실로 적용해 강화학습하는 증류 방식으로 이해됨
다중 교사는 여러 모델에서 증류한다는 뜻으로 보이며 최첨단 비공개 모델도 포함될 수 있음
다만 로그 확률이 필요한데 OpenAI API는 이를 허용하는 반면 Anthropic은 제공하지 않아, 외부에서 추정하는 방법이 있을 수도 있음
이 방식은 생물학을 포함해 교사가 아는 어떤 분야에도 적용 가능함

교사는 다른 모델들을 뜻함

여러 제공업체의 추론 가격이 모두 같은 이유가 Moonshot과의 라이선스 계약 때문인지 궁금함

Kimi와 경쟁할 미국산 개방형 모델을 만들려면 무엇이 필요한지 궁금함

미국 대형 연구소의 최근 대규모 공개 모델은 약 1년 전인 2025년 여름의 GPT-OSS-120b가 마지막인 듯함
자발적으로 나오기는 어려워 보여 어떤 형태로든 공개를 압박해야 할 것 같음
최근 Gemma가 최소 100B급으로 나오길 기대했지만 Google은 그 규모의 모델을 내부에만 보유하는 듯함

MSL이나 SpaceXAI가 차기 대형 모델 중 하나를 오픈소스로 공개할 가능성이 높아 보임
둘 다 오픈소스에 우호적이고 미국의 Kimi 자리를 놓고 경쟁하게 될 것임

중국이 단순히 모델을 증류해 2주 만에 복제한다는 통념이 사실이라면 미국도 2주 안에 복제 모델을 내놓을 수 있어야 함