ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO 양자화 비교

원문 발행 2026. 10. 31. 01:46원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

이 글은 DeepSeek-V4.1-Flash-1017 모델의 양자화 비교 결과에 대한 기술적 논평입니다. 작성자는 성능 불일치가 모델 자체의 문제가 아니라, 상대방이 설정한 32K 토큰 추론 예산과 자신들이 허용한 128K 출력 토큰 간의 벤치마크 제약 조건 차이에서 비롯된다고 주장합니다. 투명성을 강조하며 정확한 설정을 사용해 재현 검증을 요청하고 있습니다.

핵심 포인트

성능 불일치는 모델 문제가 아닌 벤치마크 제약 조건의 차이 때문임.
작성자는 128K 컨텍스트 창과 추론 노력도 50의 표준 설정을 사용함.
DeepSeek-V4.1-Flash-1017은 763B 파라미터와 1M 컨텍스트를 가짐.
모든 코드는 GitHub에 공개되어 투명한 검증을 독려하고 있음.

Unsloth가 발표한 최근 비교 결과 중 DeepSeek-V4.1-Flash-1017에 대한 저희의 결과와 일치하지 않는 것들을 발견했습니다. 따라서 분명하게 말씀드리자면, 저희는 당연히 모델에 유리하도록 어떤 하이퍼파라미터(hyperparameters)도 수정하지 않았습니다. 저희는 이 규모의 모델(763B 파라미터)과 1M 컨텍스트 길이 능력을 고려하여 적절한 표준 설정을 사용했습니다: 즉, 128K 컨텍스트 창(context window)과 50으로 설정된 추론 노력도(reasoning effort)입니다. 저희가 아는 한, 성능의 불일치는 모델 자체가 떨어진 것이 아니라 벤치마크 제약 조건의 차이에서 비롯됩니다.

Unsloth의 비교는 엄격한 32K 토큰 추론 예산(reasoning budget)을 가지고 있는 반면, 저희의 벤치마크는 최대 128K 출력 토큰까지 허용합니다. 이러한 컴퓨팅 자원의 상당한 차이가 결과의 편차를 설명하며, 이는 저희 측의 숨겨진 조정 때문이 아닙니다. 게다가, 1M 컨텍스트 창과 763B 파라미터로 설계된 모델에게 그렇게 낮은 추론 예산(32K)을 부과하는 것은 일관성이 없어 보입니다.

저희의 주요 목표는 개방적인 협업과 투명성입니다. 저희의 모든 코드는 GitHub에서 이용 가능하며, 논문은 arXiv에 있습니다. 다른 양자화(quantization) 방식들이 잘 작동하고 있다는 점에 진심으로 기쁘게 생각합니다. 왜냐하면 이것이 애초에 이 모델들을 공개한 핵심 동기였기 때문입니다. 저희는 컴퓨팅 자원을 가진 모든 분들께 정확한 설정(128K 출력 예산, 추론 노력도 50)을 사용하여 결과를 재현하여 독립적인 검증을 해주시기를 요청합니다.

저희의 이전 모델들은 커뮤니티에 큰 기여를 하는 Benjamin Marie (The Kaitchup)와 같은 제3자에 의해 벤치마크되었습니다. 저희는 저희 주장에 대한 엄격한 테스트를 환영합니다. 게다가, 현재 저희 환경 내의 모델들에 대해 비교 작업을 진행 중이며 곧 결과를 게시할 예정입니다. 감사합니다. 기대해 주세요! 제출자: /u/Loginhe [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기