문법 제약 디코딩이 Qwen3-VL을 반복 루프에 빠뜨리며, 어떤 샘플러 설정으로도 해결되지 않음

요약

Qwen3-VL-30B-A3B 모델을 GBNF 문법 디코딩으로 사용할 때, 유효한 JSON 항목 하나에 고정되어 컨텍스트가 소진될 때까지 반복하는 문제가 발생했습니다. 이 문제는 양자화, 온도, 플래시 어텐션 등 다양한 샘플러 설정으로도 해결되지 않았으며, 다른 모델(dense 8B, gemma-4-31b)에서도 유사한 루프 현상이 보고되었습니다.

핵심 포인트

• GBNF 문법 디코딩 사용 시 컨텍스트 소진까지 반복 루프 발생 가능성 확인.
• 다양한 샘플러 설정(quant, temp 등)으로도 문제 해결 불가함을 입증.
• 다른 대형 모델에서도 유사한 문법 제약 기반의 반복 트랩 현상이 보고됨.