LLM 기반 코딩 게임 비교: Qwen3.5부터 Gemma 4까지의 성능 분석

요약

본 글은 다양한 대규모 언어 모델(LLMs)들이 코딩을 통해 인터랙티브 레이싱 게임을 생성하는 과정을 비교 분석한 결과입니다. 참가 모델로는 Qwen3.6 35B, Qwen3.5 122B, Qwen3.5 27B, Qwen3.5 4B, Gemma 4 31B, Gemma 4 26B, Qwen3 Coder Next, GLM 4.7 Flash 등이 포함됩니다. 테스트는 Vision 기능 비활성화 및 동일한 초기 프롬프트 설정을 기반으로 진행되었으며, 각 모델의 코드 생성 능력, 디버깅 과정, 그리고 최종 게임 구현 품질을 비교했습니다. 흥

핵심 포인트

• Gemma 4 26B와 GLM 4.7 Flash는 서브 에이전트(subagent)를 성공적으로 스폰하여 계획 및 사운드 추가 등의 복잡한 작업을 수행하는 능력을 보였습니다.
• Qwen3.5 27B 모델은 마지막 턴에서 Playwright MCP 비활성화라는 우발적 오류가 발생하면서 실제로 움직이고 조향하는 차량을 구현해냈으며, 타이어 회전 기능도 구현한 유일한 모델입니다.
• Gemma 4 31B와 Qwen3.5 27B는 다른 모델들과 달리 매 턴마다 전체 코드를 출력하는 경향을 보여 코드 추적 및 디버깅 측면에서 특징적인 패턴을 보였습니다.
• Qwen3.6 35B의 게임은 초기 대비 회귀(regression) 현상을 겪었으며, 트랙이 더 좁아지고 히트박스(hit boxes)가 정확해지는 등 여러 변화를 보여주었습니다.