로컬 모델이 JSON 반복에 빠지는 현상
요약
대규모 언어 모델(LLM)이 JSON과 같은 구조화된 데이터를 반복적으로 생성하는 '반복 함정' 현상을 분석했습니다. 특히 Qwen3-VL-30B와 Gemma 등의 모델들이 동일한 유효한 JSON 객체를 계속해서 출력하는 문제를 다루며, 해당 현상의 원인과 작동 방식을 정리했습니다.
핵심 포인트
- LLM이 구조화된 데이터(JSON)를 반복적으로 생성하는 '반복 함정'을 분석함.
- Qwen3-VL-30B와 Gemma 등의 모델에서 해당 현상이 관찰됨.
- 문서 추출 시 속도 저하의 원인이 단순한 처리 지연이 아님을 밝힘.
원래 Qwen3-VL-30B를 문서 추출에는 너무 느리다고 생각했습니다. 5090에서 실행해 보니, 실제로는 동일한 유효한 JSON 객체를 계속 반복하는 데 걸려 있다는 것을 알게 되어 제가 시도했던 것과 Qwen 및 Gemma가 37페이지에 걸쳐 어떻게 작동했는지 정리하여 작성했습니다. https://coles.codes/posts/grammar-constrained-repetition-trap/ submitted by /u/mattjcoles [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기