Qwen3의 기본 컨텍스트 창은 약 32,768입니다. 사람들은 계속해서 같은 체크포인트의 '1M 컨텍스트' GGUF 파일을 배포하고 있습니다. 여기서 일어나고 있는 일은 새로운 두뇌를 만드는 것이 아닙니다. 이것은 YaRN (Yet another RoPE extensioN)입니다: 모델이 이미 학습한 위치 맵을 늘리는 것입니다. 중요한 방정식은 다음과 같습니다: new_len = original_max × factor. 계수 4 → 약 131K (Qwen이 실제로 검증하는 값), 계수 32 → 1,048,576 (바이럴 커뮤니티의 도약). 설정 용어로는 보통 다음과 같은 것을 설정합니다: rope_scaling.type = yarn, rope_scaling.factor = 32, rope_scaling.original_max_position_embeddings = 32768. vLLM의 경우: HF 오버라이드. llama.cpp의 경우: --rope-scaling yarn --rope-scale 32 --yarn-orig-ctx 32768. 많은 커뮤니티 GGUF 파일들이 이미 이 메타데이터를 포함하고 있습니다.

이 열풍을 꺼뜨리는 세 가지 함정:

1. 정적 YaRN (Static YaRN) — 짧은 채팅에 대해 스케일링을 켜면 → 아무것도 아닌데 긴 컨텍스트 비용을 지불하게 됩니다.
2. KV / VRAM — 1M은 공짜가 아닙니다; 캐시가 먼저 당신을 잡아먹습니다.
3. Lost-in-the-middle — passkey 데모 ≠ 토큰 200k에서의 당신의 리포지토리

수학, 활성화 플래그, 그리고 언제 YaRN을 꺼야 하는지에 대한 8분짜리 블랙보드 워크스루를 만들었습니다: https://www.youtube.com/watch?v=kO0zywHd4u0

여기 사람들이 Qwen에 실제로 일상적으로 사용하는 계수(4 대 8 대 32)와, needle/passkey 점수가 실제 검색 결과와 일치했는지 궁금합니다. /u/Murky-Sign37 제출