본문으로 건너뛰기
arXiv논문2026. 11. 17. 07:50
파일 크기와 작업당 에너지로 양자화된 코드 LLM 선택하기 대표 이미지

파일 크기와 작업당 에너지로 양자화된 코드 LLM 선택하기

원문 발행 2026. 11. 13. 09:04원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

본 기사는 로컬 환경에서 구동되는 코드 LLM의 효율성을 파일 크기 및 작업당 에너지 소비를 기준으로 분석했습니다. Qwen2.5-Coder 모델을 다양한 양자화 수준으로 테스트한 결과, 낮은 사양에서는 작은 크기의 최적화된 모델이 전력 효율성과 정확도 측면 모두에서 우위를 보였습니다.

핵심 포인트

  • 로컬 추론 시 에너지 소비가 성능 선택의 핵심 지표입니다.
  • 작은 규모의 최적화된 모델(예: 3B q4_K_M)이 전력 효율성이 높습니다.
  • 대형 모델은 높은 정확도를 제공하나, 작업당 에너지 소모가 크게 증가합니다.
  • 성능 비교를 위한 상세한 결과 및 전력 로그 스크립트를 공개했습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0