로컬 LLM 9개 모델 비교 분석: 비행 시뮬레이션 게임 제작 결과

요약

본 글은 동일한 '비행 전투 시뮬레이터' 프롬프트를 사용하여 로컬 환경에서 구동되는 9개의 대규모 언어 모델(LLM)의 성능을 비교 분석한 결과입니다. 단순히 파라미터 크기나 비트 폭(8-bit Quantization, Q8)만으로는 모델의 품질을 판단하기 어렵다는 결론을 내렸습니다. 가장 인상적인 발견은 양자화 제공업체(Quant Provider)가 비트 폭보다 훨씬 중요하며, 코드 라인 수 같은 지표는 성능과 직접적인 상관관계가 없다는 점입니다. 특히 Qwopus 3.5 27B 모델이 실제 비행 물리학 구현 및 절차적 오디오까지

핵심 포인트

• 모델의 품질은 파라미터 크기나 코드 라인 수보다 양자화 제공업체(Quant Provider)와 구현 능력에 크게 좌우됩니다.
• Qwopus 3.5 27B 모델이 실제 비행 물리학(추력/항력, 속도 감쇠 등)과 절차적 오디오를 성공적으로 통합하여 최고의 성능을 보였습니다.
• 가장 큰 모델인 Qwen Coder Next 80B는 가장 많은 코드를 생성했음에도 불구하고 기능적으로 열등한 결과물을 보여주었습니다.
• Gemma 4 26B a4b와 같은 특정 최적화된 아키텍처가 높은 토큰 속도(tok/s)를 보였으나, 최종적인 작업물 완성도에서는 Qwopus 모델이 우위를 점했습니다.