Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Qwen3.8-Flash-Next 모델을 AMD 환경에서 50만 컨텍스트로 구동한 경험을 공유합니다. 이전 추론 내용을 반복하는 현상은 `preserve_thinking: true` 설정 때문이었으며, 이를 비활성화하여 문제를 해결했습니다. 대용량 컨텍스트에서도 안정적인 성능과 높은 디코드 속도를 확인하며 모델의 잠재력을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 약 한 달 동안 유료 포드 좌석에서 Qwen3.8-Flash-Next (base 및 이후 Swift-1.5 NVFP4)를 구동하고 있었는데, 모델이 자신의 이전 추론을 반복하는 짧은 문자열로 답변하기 시작했습니다. 저는 컨텍스트가 너무 커져서 그런 것이라고 생각했습니다. 하지만 그렇지 않았습니다. 거의 13,000턴에 걸쳐 이 반복 현상이 266번 나타났고, 이미 컨텍스트 내에 복사본이 많을수록 다음 턴에서 이를 생성할 가능성이 높아졌습니다. 원인은 preserve_thinking: true가 이전 추론 내용을 모든 프롬프트에 다시 공급하고 있었기 때문입니다. 이 반복 현상을 제거하니 문제가 사라졌습니다. Flash-Next를 다시 신뢰하게 된 후, Strata의 최신 화제인 Flash-Next를 확인해 보기로 했지만 AMD에서 작동할지 알아봐야 했습니다. 총 176B 파라미터, 토큰당 6B 활성 파라미터, VRAM에 23.8 GiB가 상주하는 66.4 GB의 가중치, 시스템 RAM에 31.6 GB의 전문가 가중치와 28.8 GB의 PLE 테이블이 있었습니다. 결과: 디코드 속도는 105–160 tok/s였습니다. 컨텍스트는 500,000이었고, 실제로는 506,849 토큰을 유지하고 있음을 측정했습니다. 추론(thinking) 기능을 끄면 81%에서 84% 사이를, 켜면 88–94% 사이를 4k, 64k, 256k 컨텍스트 전반에 걸쳐 유지했으며, 내용이 잘리는 일은 없었습니다. 디코드 속도는 이 범위에서 18% 하락했지만, 성능이 떨어졌다기보다는 깊이에 따라 느려진 정도였습니다. 이는 제가 사용하던 llama.cpp 및 Swift 1.5 27b Dense보다 엄청난 개선이었습니다. pi에서 컨텍스트를 500k로 설정하고 이제는 일상적으로 사용하게 되었습니다. 저에게 또 다른 거대한 발전이었습니다. 전체 글은 https://t0mj.github.io/holler/posts/flashnext-q2-strata-amd-daily-driver/에서 확인하실 수 있습니다. 저는 게이밍 리그에서 로컬 개발을 위해 flash-next와 strata를 AMD로 사용한 경험에 대해 더 많은 글을 작성할 계획입니다. 면책 조항: 제 글은 손글씨와 AI 가이드, 반박, 탐구, 증거 수집이 혼합된 것입니다. (네, 제가 이 진술을 작성했습니다.) /u/human_in_the_looop 님이 제출함 [link] [comments]