Qwen 모델 비교 분석: MoE 구조의 성능과 규칙 준수 능력

본 분석은 4개의 RTX 3090 GPU 환경을 사용하여 세 가지 버전의 Qwen 대규모 언어 모델(LLM) 성능을 비교합니다. 테스트 대상 모델은 Qwen3.5-27B (Dense), Qwen3.5-122B-A10B (MoE), 그리고 Qwen3.6-35B-A3B (MoE)입니다.

가장 주목할 점은 테스트 환경의 특수성입니다. 이 모델들은 단순한 벤치마크가 아닌, 30~60k 토큰 길이의 프롬프트를 사용하는 다중 에이전트 오케스트레이터(multi-agent orchestrator)를 통해 구동되었습니다. 특히, 엄격한 bash allow-list와 같은 복잡하고 까다로운 '글로벌 규칙 준수' 환경을 강제했기 때문에, 모델의 성능 지표가 일반적인 벤치마크 결과와는 매우 다르게 나타났습니다.

1. 구조적 비교: MoE vs Dense

분석 결과에 따르면, 크기가 더 큰 MoE(Mixture-of-Experts) 구조를 가진 모델들(122B 및 35B)은 전반적인 처리량 측면에서는 우수했지만, 이처럼 엄격한 글로벌 규칙을 유지하는 능력(rule-following ability) 면에서는 오히려 밀집된(Dense) Qwen3.5-27B 모델보다 성능이 떨어지는 경향을 보였습니다. 이는 단순히 모델의 크기나 활성 매개변수 수(active-param count)가 성능 차이를 크게 좌우하지 않음을 시사합니다.

2. 처리량 분석 (Throughput Analysis)

A. 생성 처리량 (Generation Throughput):
모든 동시 요청 수준에서 Qwen3.6-35B 모델이 가장 높은 생성 속도를 기록하며 압도적인 성능을 보였습니다. Qwen3.5-122B는 2~6개의 동시 요청 레벨에서 변동성이 크고, Qwen3.5-27B은 세 모델 중 가장 안정적이고 일관된 성능을 유지했습니다.

B. 전처리 처리량 (Prefill Throughput):
전체적인 지속 가능한 평균(Sustained Average) 측면에서는 Qwen3.5-122B가 약 2배 높은 수치를 기록하며 여전히 가장 뛰어난 성능을 보였습니다. 하지만 실제 에이전트 파이프라인에서 경험하는 '활성 전처리' 처리량만 고려했을 때도 122B 모델의 우위는 유지되었습니다.

C. 기능적 처리량 (Functional Throughput):
가장 실용적인 지표인 '분당 완료된 요청 수(Completed Requests per minute)'를 측정했을 때, Qwen3.6-35B는 대부분의 동시성 레벨에서 이전 모델 대비 2배에서 최대 4배에 이르는 압도적인 효율성을 보여주었습니다. 이는 단순 토큰 속도보다 실제 작업 완료 능력이 중요함을 강조합니다.

결론 및 시사점

종합적으로 볼 때, Qwen3.6-35B는 최고 수준의 처리량과 기능적 효율성 측면에서 가장 강력한 성능을 입증했습니다. 그러나 이 테스트가 보여주듯이, LLM을 복잡하고 엄격한 규칙 기반의 에이전트 시스템에 통합할 때는 단순히 모델 크기나 최대 토큰 속도만 볼 것이 아니라, 규칙 준수 능력과 같은 '시스템적 안정성' 지표를 반드시 함께 고려해야 합니다. 특히 27B Dense 모델은 성능 면에서 최고는 아니었으나, 규칙을 가장 일관되게 잘 따르는 모습을 보여주었습니다.