최근 GPT-OSS로 펠리컨 테스트를 해봤는데, 2025년 최고의 로컬 모델 중 하나였던 듯함
SVG 펠리컨에서 모델들이 얼마나 좋아졌는지 보는 게 정말 멋짐

TFA가 왜 "Tencent in China"라고 굳이 짚었는지 궁금함 tencent/Hy3. New Apache 2.0 licensed model from Tencent in China라고 되어 있는데, Tencent AI 연구소가 다른 지역에도 있나? 예를 들어 MiniMax는 Tencent와 어떤 관련이 있음

예전에 당신 글에 과하게 비판적이었고 악의적으로 논쟁했으며, 당신에게 부정적으로 굴면서 나쁜 분위기를 만들었다고 봄
LLM을 그다지 좋아하진 않지만, 당신 덕분에 내 감정이 비합리적이었다는 것과, 내가 즐거움을 느끼던 직업이 이전 형태로는 사실상 끝났으니 내려놓고 돈과 관심을 위해 하는 쪽에 합류해야 한다는 걸 깨달았음
그래도 내 개인 프로젝트는 가능하면 직접 손코딩하고 LLM은 쓰지 않을 생각임
펠리컨 밈이 실제로 얼마나 유용한지는 몰라도, 미적으로라도 시작한 건 멋지다고 생각함

요청 제한이 너무 심해서 사용을 멈춰야 했음
순위가 떨어진 것도 아마 그 때문일 듯하고, 수요를 감당하지 못하는 것처럼 보였음

그건 프리뷰 모델이었던 것 같고, 이번 모델은 훨씬 나아 보임
여전히 작은 모델이긴 하지만, 적어도 벤치마크 점수는 DeepSWE 포함해서 크게 올랐음
가격은 Flash와 같지만 벤치마크는 Pro와 비슷하거나 일부는 더 높음
물론 벤치마크는 대체로 의미가 적고, 진짜 벤치마크는 실제로 맡기는 작업임

OpenRouter에서는 정말 느리고 HTTP 오류도 많이 겪었음

꽤 몰입감 있는 산문을 쓰고, 미세조정도 잘 되며, 이제 MIT 라이선스임
크기 대비 세계 지식도 매우 좋고 DS4 Flash보다 낫다고 봄

크기가 꽤 비슷한 만큼 DS4 Flash와 비교해서 사람들이 어떻게 느끼는지 궁금함
또한 강한 양자화를 걸었을 때 얼마나 버티는지도 궁금함
DS4 Flash는 현재 RAM 약 96GB 이상인 시스템에서 꽤 잘 돌아가는데, Hy3가 그 영역에서 경쟁할 수 있을지 모르겠음

어제 OpenRouter로 Hy3를 써봤고, Anthropic 구독을 일주일 전에 취소한 뒤로는 DS4 Flash/Pro를 주력으로 쓰고 있음
DS4 Flash는 Claude Code를 통해 쓸 때 꽤 변덕스럽다고 느꼈음
속도는 훌륭하지만 완전히 잘못된 정신 모델을 만들고 엉뚱한 방향으로 돌진하는 경우가 많아서 자주 제어해야 했고, 히스토리도 압축해야 해서 캐시 가격 이점이 줄어듦
Hy3는 그렇게 빠르진 않지만 지금까지는 DS4 Flash보다 훨씬 안정적으로 방향을 유지함
긴 문맥에서도 덜 망가지는 것 같고, 실제 가격은 잘 모르겠지만 매우 경쟁력 있는 모델이라고 느낌
별개로 LongCat 2.0도 5천만 토큰 팩을 사서 시험해봤는데, 무료는 아니지만 사실상 뿌리는 수준으로 저렴함
이것도 꽤 인상적이고 Hy3와 대략 비슷해 보임
최전선급 지능은 아니지만, 코드베이스를 잘 탐색하고 지시한 일을 안정적으로 수행하는 믿을 만한 일꾼에 가까움

DSV4에서 겉으로 잘 안 보일 수 있는 점은 DeepSeek 팀이 구조에 많은 혁신을 넣었다는 것임
llama.cpp가 lightning indexer를 완전히 지원하면, 전체 1M 문맥이 RAM 약 6GB만 필요하게 됨
그래서 크기가 비슷하더라도 그 측면에서는 DeepSeek가 훨씬 효율적일 거라고 봄
Hy3가 경쟁할 수 있을지는 양자화에 얼마나 강한지에 크게 달려 있음
DSV4는 2비트 양자화에서도 쓸 만함

그건 DS4 Flash의 2비트 양자화임
차라리 Qwen3.6-27B를 Q8로 돌리는 편이 나을 수도 있음

Hy3에는 DSv4 구조의 KV 캐시 효율이 없음
DSv4 Flash는 DGX Spark 두 대에서 돌리면서도 KV 캐시 3M 토큰을 넣을 메모리가 남지만, Hy3는 FP4로 양자화해도 KV 캐시가 약 130K 토큰 정도밖에 들어가지 않음

DS4-Flash는 “상당히” 더 작을 뿐 아니라, DSpark 덕분에 훨씬 더 빠른 속도 이점도 얻을 수 있음

이 모델은 성능에 비해 놀랄 만큼 작음
deepseekV4 flash보다 약간 크지만, 일부 벤치마크에서는 V4 pro만큼이거나 더 뛰어나 보여서 인기 로컬 모델이 되어도 놀랍지 않음

그 부분이 계속 궁금했음
GLM-5.2도 DeepSeek V4 Pro의 절반 크기인데, 가격은 대략 두 배임
DeepSeek 구조를 조금 살펴봤는데 핵심 초점은 최대한 비용을 줄이는 방법이었음
어텐션 메커니즘에서 비용 절감을 많이 했고, 덕분에 거대한 문맥에서도 말도 안 되게 싼 가격을 제공할 수 있었지만 성능 희생이 있었던 것 같음
적어도 더 작은 모델이 더 비싸고 더 잘하는 걸 보면 “어텐션이 더 조밀한가?”라는 생각이 듦

“로컬”이 수천 달러짜리 장비를 쓰는 사람들을 뜻하는 게 아니라면 아직 꽤 큰 모델임

Hy3 has 295B parameters in total. To serve it on 8 GPUs, we recommend using H20-3e or other GPUs with larger memory capacity.
나도 인기 로컬 모델이 될 수 있다고 봄

모델을 써봤는데 꽤 훌륭했고, gpt5.4 gpt-5.4-mini보다 나은 것 같음
성능도 sonnet 5에 충분히 가까워서 큰 차이를 못 느꼈음
gpt 5.5급은 아니고 아마 glm 5.2보다는 낮겠지만, 내가 해본 대부분 작업에서는 그냥 잘 작동했고 매우 저렴함 FOSS 모델이 필요하다면 안 쓸 이유가 없음
수정: 기본 gpt-5.4가 아니라 gpt-5.4-mini였음

Hy3 DeepSWE는 28%이고, GPT5.4 xhigh DeepSWE는 52%임
Hy3 블로그 글에는 오염된 벤치마크가 많아 보여서 실제 테스트가 필요함
많은 중국 모델처럼 벤치마크 최적화가 심하게 된 느낌이 강함

모델을 잘못 본 것 같음
gpt-5.4라면 거기에 맞먹는 오픈소스 모델은 없을 듯하고, 아마 1년은 더 걸릴 수 있음

Hy3를 쓰면 내가 이상해지는 기분임
극단적으로 벤치마크 최적화가 된 건지, 아니면 내 사용법 문제인지 모르겠지만 차라리 dense Gemma를 쓰고 싶음
최근 기억으로 내 시간을 이만큼 낭비한 모델은 없었음

Hy3 프리뷰는 모델을 이용한 보안 감사 벤치마크에서 평범한 성능이었고, Gemma 4가 더 나았음
31B가 확실히 앞섰고, MoE도 QAT 버전으로 4비트 양자화를 써도 약간 더 좋았음
Qwen 3.6 27B도 Hy3보다 나았음
프리뷰를 벗어나고 후학습이 더 들어간 지금 다시 시험해볼 예정임
더 나빠지진 않았을 테니, 31B 모델과 경쟁할 만큼 좋아졌을 수도 있음

진짜 필요한 건 추론 또는 LLM 구조의 돌파구임
GLM-5.2급 모델을 Qwen 3.6 27b 이하 크기로 48GB Macbook Pro 같은 소비자 기기에서 초당 최소 100토큰으로 돌릴 수 있어야 함
내 가설은, 더 작고 덜 똑똑하지만 빠른 모델을 좋은 실행 장치와 묶으면 더 오래 돌리면서, 큰 모델이 한 번에 푸는 문제를 힘으로 밀어붙여 해결할 수 있다는 것임

실행 장치 자체가 말 그대로 LLM이 되는 쪽을 더 기대함
여러 기계 구조물에 진동 감쇠기를 다는 것과 비슷한 방식임