Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 효율적인 추론 배포를 위해 양자화와 문서 청킹 전략이 지연 시간 및 처리량에 미치는 영향을 연구했습니다. 실험 결과, 양자화 형식뿐만 아니라 텍스트 청킹 전략이 번역 품질과 추론 효율성 사이의 트레이드오프에 결정적인 역할을 함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models, LLM)을 실제 서버 환경에 배포하는 것은 시스템이 낮은 지연 시간(Latency)과 함께 고품질의 응답을 제공해야 하므로 어려움이 따릅니다. 양자화(Quantization)는 메모리 사용량(Memory footprint)을 줄이고 추론 효율성(Inference efficiency)을 향상시키기 위한 일반적인 접근 방식이지만, 제어된 오케스트레이션 수준의 워크로드(Orchestration-level workloads) 하에서 지연 시간과 처리량(Throughput)에 미치는 영향은 거의 평가되지 않았습니다. 본 연구에서는 단일 A100 또는 H100 GPU에서의 효율적인 배포를 위해 1.7B에서 22B에 이르는 5개의 모델을 대상으로 두 가지 번역 모델 제품군인 EuroLLM extcite{martins2025eurollm} 및 Hy-MT2 extcite{zheng2026hy}의 양자화 트레이드오프(Quantization trade-offs)를 연구합니다. 우리는 문서 청킹(Document-chunking) 전략을 W4A8 또는 W8A8 양자화와 결합하면 광범위한 워크로드 하에서 지연 시간-처리량 파레토 곡선(Latency-throughput Pareto-curve)이 개선됨을 입증합니다. 또한, 표준 기계 번역(Machine Translation, MT) 벤치마크는 고립된 문장에 의존하며 긴 문맥 역학(Long-context dynamics)을 포착하지 못하기 때문에, 우리는 양자화 하에서 텍스트 청킹 전략이 번역 품질에 어떻게 영향을 미치는지 평가하기 위해 WMT24++로부터 도출된 문서 수준 평가(Document-level evaluation)를 도입합니다. 우리의 결과는 표준 세그먼트 수준 평가(Segment-level evaluation)가 양자화와 긴 문맥 문서 번역 사이의 상호작용을 예측하는 데 실패할 수 있음을 보여줍니다. Hy-MT2는 양자화 하에서도 견고함을 유지하는 반면, EuroLLM은 강한 민감도를 보이며 고려된 모든 양자화 형식에 대해 번역 품질이 급격히 붕괴됩니다. 전반적으로, 우리의 실험은 추론 효율성과 번역 품질 사이의 트레이드오프가 양자화 형식뿐만 아니라 텍스트 청킹 전략의 선택에도 달려 있음을 보여줍니다.