단일 파일 HTML Canvas 애니메이션 구현을 통한 오픈 소스 모델과 프론티어 모델의 성능 비교 결과

여러분 안녕하세요, 저는 이 게시물에서 영감을 받았습니다: https://www.reddit.com/r/LocalLLaMA/comments/1tf3p6c/local_qwen_36_vs_frontier_models_on_a_coding/

저는 제가 만든 하네스(harness) (https://github.com/AidenGeunGeun/OpenCodeOrchestra)를 사용하여 여러 모델에 대해 동일한 단일 파일 Canvas 프롬프트를 실행했습니다. 모델들은 접근 가능한 도구가 무엇이든 사용할 수 있었으며, 일부는 감사 모델(auditor models)을 사용했고 일부는 사용하지 않았습니다. 명확한 승자가 있는 경우도 있었고, 모호한 경우도 있었습니다.

결과는 여기에서 확인할 수 있습니다:

https://aidengeungeun.github.io/oco-canvas-car-scene-compare/

설정:

• 모든 실행에 동일한 프롬프트 사용
• 모델당 하나의 격리된 오케스트레이터(Orchestrator)
• 각 모델에서 사용 가능한 가장 높은 사고/노력(thinking/effort) 설정
• 출력 대상: 라이브러리나 외부 에셋이 없는 단일 독립형 HTML 파일
• 작업: 시차 효과가 있는 배경(parallax scenery), 회전하는 바퀴, 미세한 차체 움직임, 영화 같은 조명, 그리고 끊김 없는 루핑(seamless looping)을 포함한 사실적인 측면 자동차 주행 장면

포함된 모델:

• GPT-5.5 xhigh
• GPT-5.4 xhigh
• Claude Opus 4.7 (max effort)
• Claude Opus 4.6 (max effort)
• Claude Sonnet 4.6 (high effort, sonnet에는 max 설정이 없음)
• Kimi K2.6
• DeepSeek V4 Pro
• DeepSeek V4 Flash
• GLM-5.1
• MiniMax M2.7
• Qwen 3.6 Plus
• Grok 4.3

저는 각 모델에서 가능한 가장 높은 사고(thinking) 수준을 사용했습니다. 초당 토큰 수(tok/s)와 생성 시간은 측정하지 않았습니다.

결과는 여기에서 확인할 수 있습니다:

갤러리: https://aidengeungeun.github.io/oco-canvas-car-scene-compare/

소스: https://github.com/AidenGeunGeun/oco-canvas-car-scene-compare

우리는 모델들이 이러한 종류의 작업을 수행할 능력이 있다는 것을 알고 있지만, 저는 매우 다양한 오픈 웨이트(Open weights) 모델들이 특히 자주 사용되는 프론티어 모델(frontier models)들과 비교했을 때 어떠한지 궁금했습니다.

MiMo-V2.5-pro도 사용해 보려고 했으나, 해당 모델은 OpenCode Go 구독의 결제 문제(billing issues)가 있어 사용할 수 없었습니다. 한번 살펴보세요!