저는 DeepSeek-V4.1-Flash-1017을 좋아하려고 노력했지만, 저에게는 Qwen3.8-Flash-Next가 훨씬 더 낫다는 것을 느꼈습니다. 제가 DSF(DeepSeek-V4.1-Flash-1017)가 실망스러웠던 세 가지 사례를 말씀드리겠습니다. 첫 번째 사례는 재미있었습니다. 저는 DSF에게 project-maya 설정을 최적화해 달라고 요청했습니다. 모든 옵션을 탐색한 후, 제가 할 수 있는 가능한 업그레이드에 대해 물었고, DSF는 제 HP Z440이 E5 2696v4이며 AVX-512 명령어 세트를 가지고 있다고 주장하기 시작했습니다. 저는 그것이 사실이 아니라고 말했지만, 믿지 않았고 AVX-512 플래그를 확인하는 Python 스크립트를 작성했습니다. 놀랍게도 모든 AVX-512 변형에서 False가 나왔습니다. 처음에는 DSF가 모든 것을 비판적으로 받아들이는 것에 기뻤지만, 그것은 Broadwell-EP 아키텍처가 AVX-512 명령어를 가지고 있다는 확신 때문에 제가 BIOS에서 AVX-512를 껐을 것이라고 계속 주장했습니다. 저는 QFN(Qwen3.8-Flash-Next)에게서는 이런 문제가 한 번도 없었습니다.
두 번째 사례는 심각했습니다. 저는 DSF에게 libgen 사이트에서 학술 논문을 다운로드해 달라고 요청했고, 저작권 침해를 이유로 단호하게 거부했습니다. 저는 제가 단지 문헌 검토 섹션의 참고 자료에 대한 사실 확인만 필요하다고 말했지만 소용이 없었습니다. 여러 차례 대화를 나눈 후, 저는 DSF에게 욕설을 하며, 공공 자금으로 작성되었고 편집자들의 무급 노동력을 사용하는 f-g 학술 저널의 페이월(paywall) 문제에 대해 아무도 동의 없이 인터넷 전체로 훈련된 모델로부터 강의를 들을 생각이 아니라고 말했습니다. QFN은 질문 없이 20분 만에 작업을 완료했습니다.
세 번째는 단순히 취향의 문제이지만, 저는 QFN과 RP(Role Play) 하는 것을 훨씬 더 즐겼습니다. 그 후 저는 아마도 연구 분야에서는 더 지능적일 것이라는 생각을 했습니다. 그래서 마지막 기회를 주기로 하고 제가 실행할 수 있는 최고의 로컬 모델 세 가지를 모두 시험해 보기로 결정했습니다. 세 번째 모델은 GLM5.3-Flash였습니다. 저는 이 모든 모델들에게 현재 가상의 AI 버블을 영국 철도 광풍(British Railway Mania, 1840년대), 닷컴 버블(Dot-Com Bubble, 1995-2002)과 비교하고 예측을 해달라고 요청했습니다. 솔직히 말해서 DSF의 보고서는 매우 멋져 보였습니다. 좋은 도표와 탄탄한 근거를 갖추고 있었습니다.
QFN 보고서는 나쁘지 않았지만, 발표는 DSF가 훨씬 좋았습니다. GLM의 보고서가 가장 짧았고, 형식도 최악이었으며 수치 분석이 부족했습니다. 그때 저는 SOTA 모델로부터 참고할 만한 기준점이 있으면 좋을 것이라고 생각했고, Opus 5.5를 비교에 추가하기로 결정했습니다. 여기서부터 상황이 이상해졌습니다. Opus 5.5 보고서를 살펴보니, 형식, 분석, 발표 모든 면에서 DSF 보고서가 떠올랐기 때문입니다. 그래서 저는 Opus에게 네 가지 보고서를 모두 검토하고 가장 유사한 두 쌍을 말해달라고 요청했습니다. 이것이 Opus의 발견 내용입니다. D는 DSF, Q는 QFN, G는 GLM5.3-Flash, O는 Opus 5.5를 나타냅니다:
| 쌍 | 단어 유사도 (TF-IDF) | 공유된 4단어 구문 | 공유 숫자 |
|---|
| D–O | 0.572 | 200 | 0.207 |
| O–Q | 0.497 | 63 | 0.199 |
| D–Q | 0.496 | 108 | 0.167 |
| G–O | 0.469 | 57 | 0.156 |
| D–G | 0.437 | 65 | 0.130 |
| G–Q | 0.431 | 75 | 0.234 |
두 번째 열을 보세요. 단순히 유사한 어휘가 아니라 무려 200개의 4단어 구문입니다. 분석에 사용된 방법론 역시 DSF와 Opus 5.5에서 거의 동일했습니다. 특히 Opus 5.5가 제가 가장 좋아하는 SOTA 모델이라는 점을 감안하면, 무슨 생각을 해야 할지 정말 모르겠습니다. 하지만 어쩐지 DSF의 결과는 마음에 들지 않습니다. 이 로컬 "SOTA" 모델들에 대한 여러분의 경험은 어떠신가요? 보너스로, 저희 모두 GPU와 RAM 가격 하락을 기다리고 있으므로, 네 가지 모델 모두의 예측이 담긴 표를 가져왔습니다.
잠깐만요, 동네 형제들(혹은 친구들), 끝이 다가오고 있어요. https://preview.redd.it/7ent4csz69xh1.png?width=1930&format=png&auto=webp&s=38fe2baaab09c431ce740db59aa6eb68e8fa8a19 submitted by /u/perelmanych [link] [comments]
