더 작은 모델, 예상치 못한 비용: 자동 프로그램 수정(APR)을 위한 LLM 양자화(Quantization)의 트레이드오프

언어 모델(LLMs)은 강력한 도구이며 복잡한 소프트웨어 공학 작업에 점점 더 많이 채택되고 있습니다. 파라미터(Parameters) 수가 증가함에 따라 결과가 개선되는 경우가 많지만, 이는 또한 상당한 메모리 요구 사항을 부과합니다. 양자화(Quantization)는 메모리 점유율(Memory footprint)을 효과적으로 줄여주지만, 그 전반적인 영향은 종종 벤치마크 점수로만 요약되어 모델 동작의 변화와 비기능적 오버헤드(Non-functional overheads)를 가리곤 합니다. 본 연구에서는 소프트웨어 공학의 복잡한 작업인 자동 프로그램 수정(Automated Program Repair, APR)을 사용하여 LLM 양자화에 대한 실증적 평가를 수행합니다. 우리는 6개의 대표적인 LLM에 대해 서로 다른 비트 너비(Bit-widths), 방법 및 대상 구성 요소(가중치(Weights) 및 KV 캐시(KV cache))를 아우르는 13가지 양자화 설정을 분석하였으며, 두 가지 APR 벤치마크(HumanEval-Java 및 Defects4J)에서 평가하였습니다. 우리의 연구 결과에 따르면, 베이스 모델과 양자화된 모델은 수정된 문제의 수가 비슷하게 유지되면서도 서로 거의 겹치지 않는 서로 다른 문제 세트를 제공할 수 있음을 보여줍니다. 양자화는 메모리 점유율을 최대 85%까지 성공적으로 줄이지만, 추론 시간(Inference time)과 에너지 소비를 모두 증가시키며, 이는 최적화되지 않은 하드웨어 활용 때문인 것으로 분석됩니다. 우리의 파레토 트레이드오프(Pareto trade-off) 분석에 따르면, 평가된 구성의 48%가 다른 대안에 의해 엄격하게 지배(Strictly dominated)됩니다. 본 연구의 결과는 더 우수한 양자화 방법을 식별하기보다는, 효과성(Effectiveness), 메모리 점유율, 그리고 에너지 효율성 사이의 트레이드오프가 기반 모델 아키텍처와 작업의 복잡성에 민감하게 반응한다는 점을 강조합니다.