다른 모델의 기반으로 쓰라는 것치고는 라이선스가 상당히 제한적임. EU, 영국, 한국에서는 아예 사용할 수 없고, 파생 모델도 이 지역에서 아무도 사용하지 않도록 보장할 책임이 사용자에게 있음.
EU·영국·한국의 특정 법률이 가중치 공개 모델에 불리하게 작용한 듯함. 비슷한 지역 제외 조항이 있는 다른 모델도 본 것 같음.
실제로 법적 조치를 취하지는 않을 듯하지만, 규제 준수 책임을 도입자에게 넘기는 것은 확실함.
왜 이런 제한을 넣었는지 아는 분이 있는지? 해당 지역의 법률 때문인지, 경쟁사를 견제하려는 것인지 궁금함. 후자라면 미국도 제외해야 할 것 같음.
실제로 강제하기는 불가능해 보임.
해당 국가의 AI 법률에 얽힌 복잡한 책임을 피하기 위한 조항임. GDPR 도입 초기에 규정 해석이 정리되지 않자 EU 방문자를 차단했던 웹사이트들과 같은 상황임. 모호한 규정 때문에 운영이 위험해지니 아예 빠지는 것이 쉬운 해결책이었던 셈임.
그 지역에서 모델을 어떻게 쓰는지에는 별 관심이 없을 듯함. 규제 당국이 공격적으로 나올 때 자신들은 그런 사용을 권장하지 않았다고 내세울 면책 조항임.
ERNIE라는 이름은 BERT처럼 오래된 느낌을 줌. 이름을 바꾸거나, 아예 머신러닝 초창기의 복고풍을 밀고 가야 할 듯함.
BERT 모델은 여전히 자기 분야에서 훌륭함. 최신 JEV/KEV/SEV/BEV/REV/TREV 모델조차 잘 학습된 BERT를 이기지 못함.
InfiniBand를 갖춘 다중 노드 클러스터에서 이 모델을 추가 학습할 프레임워크를 추천해 줄 수 있는지? NeMo Framework와 기본적인 HF TRL+Accelerate 조합 등을 고민 중이며, 확실한 취향이 담긴 추천도 환영함.
ERNIE 4는 출시 당시 상당히 탄탄했고, 다른 모델과 달리 곧바로 핵심으로 들어가는 느낌이 좋았음. 안타깝게도 DeepSeek V3와 GLM이 뜨기 시작한 시점과 겹쳤음. 몇 달간 계속 사용했는데, 이번에도 그 매력을 살리고 지나치게 오래 추론하지 않기를 바람.
지금 필요한 것은 바로 기반 모델 공개이며, 이것이 신뢰할 만한 정렬 방법이라고 봄. 기반 모델을 공개해 누구나 원하는 대로 다루게 하면 지능 폭발 과정에서 극단적인 가치 이탈을 막을 수 있을 듯함. 수백만 명이 각자의 방식으로 정렬을 시도하고 모두 실패하더라도, 모델마다 서로 다른 방향으로 이탈하므로 현실에서 행동이 상쇄될 수 있음. 결과적으로 문명 전체가 인류의 평균적인 목적 함수에 정렬되는, 혼란스럽지만 확실한 방법임.
지능 자체가 높아지면서 생기는 별도의 가치 이탈은 피할 수 없지만, 공개 모델은 향후 학습에 대한 투자 유인을 낮춰 그 속도도 늦춰 줌. 협력 없이도 모델을 공개할 때마다 조금씩 효과를 낼 수 있음. 도덕적 우월성을 설파하며 Anthropic과 OpenAI가 벌이는 규제 포획과 달리, 이것이 실제로 최첨단 AI 발전 속도를 조절하는 방법임.
기반 모델은 정확히 무엇을 할 수 있는지? 정렬이나 추론 등의 최적화 없이 자동 완성만 하던, 추론 모델 이전의 모델과 비슷한 것인지?
이 기반 모델의 용도 대부분이 악의적이거나 이기적일 가능성은 왜 배제하는지 이해하기 어려움. 지구상의 모든 인간에게 무한한 힘을 줘도 그들이 곧 인류이니 아무 문제 없다는 것과 비슷하지 않은지?
정렬이 작동하는 방식과 정반대임. 단 한 집단이라도 충분히 유능하면서 정렬되지 않은 AI를 만들면 모두 끝장임. “누구든 만들면 모두 죽는다”이지, “모두 만들면 모두 괜찮다”가 아님.
기반 모델 공개가 정말 반가움. 기반 모델을 공개하지 않는 쪽으로 흐르는 추세는 이 분야에 문제가 됐다고 봄.
흥미로운 크기임. 128GB 두 개면 꽤 괜찮은 수준인 가중치당 4비트 이상의 양자화로 넣을 수 있음.
14B MoE라서 128GB 두 개보다 작은 환경에도 들어갈 것으로 예상했는데, 잘못 생각한 것인지?
ERNIE는 현재 최고의 기반 모델로 알고 있는 Qwen3.8-27B와 Deepseek-v4-Flash보다 강력해 보임. OpenCode에서 쓸 수 있게 되면 실험이 무척 흥미로울 듯함. 기반 모델은 사내 규칙과 문체를 학습시킬 수 있어 로컬로 모델을 운영하는 기업에도 아주 유용함.
비교 대상은 Deepseek-v4-Flash이지 4.1이나 4.1 1017 업데이트가 아님. 사실상 최신 Deepseek Flash보다 두 버전 이전 모델과 비교한 셈임.
Qwen3.8-27B의 기반 모델 버전은 공개된 것을 찾을 수 없는데, 실제로 있는지?
Baidu와 Tencent 같은 중국의 이류 연구소 모델은 벤치마크 점수에 지나치게 맞춰져 있음. 이런 공개의 주목적은 정부 감독자에게 벤치마크 성적을 보여주는 것임.
BERT에 대한 헌사임. BERT는 “Bidirectional Encoder Representations from Transformers”의 약자로, Google이 2018년에 발표한 영향력 있는 비자기회귀 Transformer 모델임. https://arxiv.org/abs/1810.04805v2.