최근 로컬 환경에서 구동되는 다양한 대규모 언어 모델(LLM)의 성능을 검증하기 위해, 동일한 '비행 전투 시뮬레이터' 프롬프트를 9개의 모델에 적용하여 비교 분석했습니다. 이 실험은 단순히 모델의 크기나 양자화 비트 폭만으로는 실제 성능을 예측할 수 없다는 점을 명확히 보여주었습니다.

1. 양자화 제공업체(Quant Provider)의 중요성:
가장 놀라운 발견 중 하나는 '양자화 제공업체'가 단순히 8-bit 같은 비트 폭보다 훨씬 중요하다는 것입니다. 동일한 Qwen3.6 35B 모델을 세 가지 다른 8-bit 양자화 방식으로 테스트했을 때, 각각 의미적으로 완전히 다른 수준의 게임 결과물이 나왔습니다. Unsloth를 사용한 버전은 최소한의 프롬프트(3 prompts)만으로 작동하는 미니맵과 원형 행성 등 완성도 높은 코드를 생성했으며, MLX Community 방식이 그 뒤를 이었습니다. 반면, oMLX를 사용한 버전은 제어 장치가 중립점으로 되돌아오는 등의 디버깅 과정이 길게 요구되어 작업의 효율성이 크게 떨어졌습니다.

2. 코드 라인 수와 성능의 비상관성:
모델의 크기나 생성된 코드의 양(라인 수)은 결과물의 품질과 거의 상관관계가 없었습니다. 가장 뛰어난 결과를 보인 Qwopus 3.5 27B 모델은 단 2개의 프롬프트로 약 1,049 라인의 코드를 완성했습니다. 반면, 전체 라인 수가 가장 많았던 Qwen Coder Next 80B(1,635 lines)는 과민한 카메라 설정과 적의 부재 등 기능적으로 결함이 많은 결과물을 내놓았습니다. 이는 모델의 크기가 곧 성능을 보장하지 않음을 보여주는 명확한 사례입니다.

3. 실제 물리 구현 능력 (The Game Changer):
가장 주목할 만한 부분은 Qwopus 3.5 27B 모델이 유일하게 **실제 비행 물리학(Flight Physics)**을 성공적으로 구현했다는 점입니다. 이 모델은 단순히 코드를 생성하는 것을 넘어, 기체별 공기역학 상수(aerodynamic constants)를 적용하여 추력/항력(thrust/drag), 프레임당 속도 감쇠 등을 통합했습니다. 예를 들어, F-16과 머스탱(Mustang)이 서로 다른 물리적 특성을 가지도록 구현한 것이 대표적입니다.

또한, 이 모델은 비행 속도 비율에 따라 엔진 주파수가 변하는 **절차적 오디오(Procedural Audio)**까지 성공적으로 통합했습니다. 이는 단순 코드 생성을 넘어선 깊은 이해와 복합적인 시스템 설계 능력을 보여줍니다. 반면, 동일한 기반 모델인 Qwen3.5 27B dense는 제어 루프에서 쿼터니언 회전과 오일러(Euler) 쓰기를 혼용하는 등 불안정한 코드를 생성하며 최악의 성능을 기록했습니다.

결론 및 순위:
종합적으로 볼 때, Qwopus 3.5 27B가 가장 높은 완성도를 보여주었으며, 그 뒤를 Gemma 4 26B Unsloth와 Qwen3.6 35B Unsloth 등이 따랐습니다. 이 실험은 LLM을 단순한 코드 생성기가 아닌, 복합적인 시스템 설계 및 물리적 제약 조건을 이해하는 엔지니어링 도구로 바라봐야 함을 시사합니다.