Ember-1

지금은 모델 훈련의 황금기임. 며칠 전 명령어 문법을 검색하지 않아도 되도록, 영어를 Bash 명령어로 아주 잘 바꾸는 로컬 CPU 전용 모델을 만들기로 했음.
여러 하위 에이전트로 14만 개 이상의 학습 샘플을 생성하고, Qwen 3 0.6B 기본 모델에 Astra를 연결해 훈련을 시작함. 이틀간 틈틈이 훈련했더니 용도에 놀랄 만큼 잘 맞는 모델이 나왔고, 직접 들인 시간은 몇 시간에 불과함. 지금도 계속 개선 중이라 정말 신나는 시대임!

훈련에는 어떤 하드웨어를 사용하나요?

본론과는 별개로, Sol의 가격 인하 이후 Kimi K3의 가격 대비 매력은 크지 않음. 내부 사용 사례와 테스트, 벤치마크에서는 Sol이 품질도 훨씬 좋고 비용도 훨씬 저렴함.
Kimi는 가격을 내려야 함. 모든 네오클라우드의 가격을 Kimi 측에서 정한다고 들었는데, 현재 Sol은 2/10, Kimi는 3/15임.

가중치 공개 모델끼리 비교해도 GLM 5.3은 Kimi K3와 대략 동등한 성능을 절반도 안 되는 비용으로 제공함.

여전히 매력적인 분야는 UI 디자인 정도라고 봄. 시각적으로는 Kimi와 Muse가 최상위 모델보다 훨씬 나아 보이지만, 끔찍한 결과물이 죄다 Claude Design에서 나온 탓일 수도 있음.

무엇을 ‘공개’로 볼지는 잠시 제쳐 두더라도, 이런 시도 덕분에 공개 모델이 독점 모델로는 어려운 방식으로 빠르게 발전하지 않을까요? Linux와 Wikipedia도 바로 이런 식으로 당시의 선두를 추월한 것 아닌가요?

Linux가 기존 강자들을 앞지르게 된 동력은 기술적 잠재력이나 인재보다 조직적 이점에 더 가까웠다고 봄. Linux 개발자들의 실력을 깎아내리려는 게 아니라, 제약에 얽매이지 않아 더 자유롭게 움직일 수 있었다는 뜻임.
따라서 AI 기업들도 대기업식 조직 역학에 빠지지 않는 한 계속 앞서갈 수 있음. 실제로 OpenAI와 Anthropic은 Google을 압도하고 있음.

그렇지 않음. 비공개 모델 연구소는 공개 진영의 성과를 가져가지만 돌려주지는 않기 때문임.

최상위 모델 연구소도 사용된 기법을 알아내서 자기 비공개 모델에 적용하지 않을까요?

운영체제 기여와 AI 기여는 다름. 전자는 목공이나 등산 대신 즐기는 취미지만, 후자는 적어도 지금은 수백만 달러를 투자받을 회사를 세우는 발판이 되기 쉬움.

물론 가능하지만, 공개적으로 기여하는 활동이 계속되어야 함.

“추론 모델은 생각을 너무 많이 한다”는 문제는 Jev 같은 모델의 매력과도 연결됨. 단순한 작업에는 많은 추론 없이 빠르게 처리하는 모델이 필요함.
이런 모델이 열어 주는 작업 흐름은 놀라움. 분류기 등 기존 머신러닝 모델도 이런 작업에 오래 쓰였지만, Jev는 저렴하고 쉬운 실험을 가능하게 함. 덕분에 다양한 용도로 시도할 유인이 생기고, 창의적인 응용과 향후 유용해질 만한 새 애플리케이션이 많이 나옴.

지금까지 나온 Jev의 유용한 활용처는 무엇인가요? 폄하하려는 게 아니라, 실제로 어디에 쓰는지 아직 보지 못해서 궁금함.

추론을 완전히 끈 저렴한 LLM을 쓰면 안 되나요? Jev보다 훨씬 비싸지는 않을 것 같음.

과도한 분석에 따른 마비는 인간뿐 아니라 다른 지능도 옭아매는 듯함.

일부 중국 모델은 추론 과정에 답변 전체를 써 놓고 사용자에게 다시 같은 답변을 출력해서 중복이 생김.

선택의 역설도 적용되는지 궁금해짐. 선택지가 많아질수록 자신이 고른 것에 만족하기 어려워짐.

공개 가중치로 모델을 훈련해 놓고, 정작 그 가중치는 공개하지 않는다는 건가요? 제가 제대로 읽은 건가요?

엄밀히 말하면 Kimi K3의 가중치 라이선스에는 제약이 많아서 진정한 오픈 웨이트로 보기 어려움. BSL·FSL이 소스만 열람할 수 있게 하는 것과 비슷하게, 가중치를 공개해 둔 수준으로 분류하겠음.

그런 일은 생기기 마련임. 대부분의 공개 라이선스는 GPL식 카피레프트가 아님.

Cursor Composer 모델도 비슷하지 않나요? 어느 정도부터는 추가로 수행한 강화학습을 독점적인 정보의 추가로 볼 수 있음.
옳고 그름을 따지려는 건 아니고, 이 기술의 특성이 그런 편임.

오픈소스 소프트웨어에서도 늘 일어나는 일인데, 공개 가중치는 다를 거라고 기대할 이유가 있나요?

기사도 읽을 가치가 거의 없음. 실질적으로 건질 정보가 전부 빠져 있음.
“작업과 환경의 피드백”, “온폴리시 계획 및 학습”, “피드백이 결정과 그 결과를 연결한다”는 실제로 무엇을 했는지 설명하면서도 정보를 최대한 주지 않으려는 표현임. 사정을 모르는 일반 투자자에게는 과학적으로 들려 그럴듯하게 보일 수 있음.
반면 Cursor Compose 2.5 기사는 온폴리시 자기 증류를 어떻게 사용했는지 설명해 실제로 건질 정보가 있었음.

파레토 최적 경계를 더 명확히 구분해야 함. 벤치마크만으로는 이야기의 절반을 놓치게 됨. 토큰 감소로 잃는 능력이 있는지, 있다면 무엇인지 알아야 함. 예를 들어 원래는 Go 코딩을 아주 잘했는데 이제는 형편없어졌는지 같은 구분이 필요함.

아쉽지만 그런 차이는 차트로 나타내기 어려움.

이 모델이 창작 글쓰기에도 적합할지 아는 분 있나요?

DeepSeek에도 이런 작업이 필요함. 가능하면 Flash 모델 중 하나면 좋겠음.

GLM도 필요함. DeepSeek 4.1 Flash와 GLM 5.3 Flash 모두 추론할 때 꽤 장황함.