로컬 LLM 비교 테스트: Gemma 4 vs Qwen 3.6 (RTX 5090)

본 테스트는 복잡한 '아키텍처 마스터플랜'을 생성하는 실질적인 작업을 통해 네 가지 로컬 LLM 모델의 성능을 비교했습니다. 평가 기준은 명확성(Clarity), 완성도(Completeness), 규율/일관성(Discipline), 유용성(Usefulness) 네 가지였습니다.

테스트 환경 및 방법:

• 하드웨어: RTX 5090 (로컬 구동)
• 작업 내용: '진실 엔진'을 설명하는 두 개의 아키텍처 청사진 문서(V1: 약 16k 토큰, V2: 약 4.6k 토큰)를 통합하여 'Masterplan.md'라는 통일된 문서를 작성하도록 지시했습니다.
• 평가 과정: 각 모델은 초기 초안 작성 → 2차 수정(Second-pass revision) → 최종 다듬기(Final polish)의 3단계 워크플로우를 거쳤으며, 이 모든 단계는 GPT-5.4 에이전트인 Manny에 의해 지시 및 검토되었습니다.

모델별 강점 분석:

1. Gemma 4 (최고의 편집자/전략가): 구조적인 깔끔함과 강력한 제약(restraint)을 보여주며, 가장 '실제 의도된 계획서' 같은 느낌을 주었습니다. Clarity와 Discipline에서 높은 점수를 받았으나, 최종 출력물의 분량은 Qwen 모델 대비 현저히 짧았습니다. 기술적 깊이와 상세 내용은 부족하여 피칭 덱이나 고수준 개념 설명에 적합해 보였습니다.
2. Qwen3.6-35B (최고의 방대한 초안 작성기): Completeness 측면에서 압도적인 성능을 보여주며, 가장 포괄적이고 구현 가능한 아키텍처 문서를 작성했습니다. 최대 규모의 기술 청사진(technical blueprint)이나 아키텍처 바이블 역할을 할 수 있는 '방대한 자료원'으로서의 가치가 높습니다.
3. Qwen3.6-27B (최고의 범용 워크호스): 네 모델 중 가장 균형 잡힌 성능을 보여주었습니다. 명확성, 완성도, 구조적 유용성의 측면에서 모두 높은 점수를 받았으며, 실질적인 '마스터플랜' 작성에 필요한 가독성(readability), 완전성(completeness), 구조화(structure), 실용적 유용성(practical usefulness)의 균형이 가장 뛰어난 모델로 평가되었습니다.
4. Qwen3.5-27B: 다른 세 모델 대비 전반적으로 성능이 떨어지는 모습을 보였습니다.

결론 및 최종 순위:

• 종합적 워크플로우(Master Plan): Qwen3.6-27B > Gemma 4 > Qwen3.6-35B > Qwen3.5-27B
• 최고의 첫 초안 (One-shot draft): Qwen3.6-27B가 가장 균형 잡힌 구조와 밀도를 보여주며 최고의 원본 결과물을 제시했습니다.

결론적으로, 만약 장문의 아키텍처 마스터플랜을 위한 기본 로컬 작성 워커를 설정한다면, 모든 면에서 최적의 타협점을 제공하는 Qwen3.6-27B를 선택하는 것이 가장 합리적입니다.