저는 DGX Spark에서 21분 만에 시간 초과된 Qwen3-VL-30B-A3B를 사용해 보다가, 5090에서 다시 실행했을 때 실제 문제를 발견했습니다. 바로 GBNF 문법 디코딩을 사용할 경우 유효한 JSON 항목 하나에 고정되어 컨텍스트가 소진될 때까지 반복한다는 것입니다. 양자화(quant), 온도(temp), 플래시 어텐션(flash attention), 컨텍스트 크기, 그리고 반복 페널티(repeat penalty)를 모두 테스트해 봤지만 아무 소용이 없었습니다. 페널티 값을 최대로 올리면 항목이 0개인 스키마 유효성 출력만 얻을 수 있는데, 만약 유효성만 확인한다면 완벽하게 점수를 받습니다. dense 8B 모델도 37페이지 중 15페이지에서 루프가 발생했고, gemma-4-31b 역시 긴 문자열 필드에서 동일한 실패 사례가 문서화되어 있습니다. 전체 테스트를 진행하고 제가 대신 하는 작업은 다음과 같습니다: https://coles.codes/posts/grammar-constrained-repetition-trap/ /u/mattjcoles 제출 [링크] [댓글]