모델 코딩 벤치마크: Sakana AI Fugu vs Claude Opus 4.8 Max vs OpenAI GPT 5.5 Very High

🔥 모델 코딩 벤치마크 (Model Coding Benchmark): @SakanaAILabs Fugu vs @claudeai Opus 4.8 Max vs @OpenAIDevs GPT 5.5 Very High

• 판정관 (Judge): ChatGPT 5.5 Advanced Pro
• 작업 (Task): 이중 진자 (Double pendulum) + 궤적 (trail), 여기서 Euler vs RK4 적분 (integration) 차이가 드러남 — 성능이 낮은 모델에서는 진자가 에너지를 얻어 튕겨 나감. 카오스 (Chaos) 동작이 시각적으로 만족스러움.

승자들;
🎉 인터페이스 + 프로토타입 (Interface + Prototype): Sakana Fugu
🎉 디자인 (Design): Opus 4.8 Max
🎉 엔지니어링 (Engineering): GPT 5.5 Very High

이유: 이 작업의 핵심 (crux) 포인트는 이중 진자의 에너지 안정성 + 시각적으로 만족스러운 카오스 궤적 (chaotic trail) 이었습니다. Sakana Fugu의 솔루션은 단순히 RK4를 사용하여 물리 법칙을 구현하는 것에 그치지 않고, 궤적을 별도의 trailCanvas 상에서 지속적/페이딩 버퍼 (persistent/fading buffer)로 유지합니다. 즉, 매 프레임마다 전체 과거 궤적을 다시 그리는 대신 새로운 세그먼트를 추가하고 이전 흔적을 제어하며 지웁니다. 이는 장기적인 시청 경험과 성능을 위한 가장 올바른 아키텍처 (architecture) 입니다. 또한 카오스 모드 (chaos mode) 에서 10개의 복제본, 최대 드리프트 (max drift) 추적, 반응형 레이아웃 (responsive layout), 역운동학 (inverse-kinematics) 기반의 보브 드래그 (bob drag), 그리고 강력한 시각적 포스트 이펙트 (visual post-effect) 느낌을 제공합니다.

참고: 세 모델 모두 Euler/RK4 토글 (toggle)을 제공하지 않았으며, 모두 직접 RK4를 사용했습니다. 따라서 "Euler vs RK4 차이를 사용자에게 명확히 보여주는" 부분에서 세 모델 모두 점수를 잃었습니다. Sakana Fugu와 Opus 4.8 Max는 500 Hz 고정 스텝 (fixed-step) RK4를 사용하는 반면, GPT 5.5 Very High는 360 Hz RK4를 사용합니다. 그럼에도 불구하고 GPT는 렌더링/궤적 (render/trail) 아키텍처를 통해 전체 제품 측면에서 앞서 나갑니다.

최종 점수 및 요약

• Sakana Fugu — 89/100
• GPT 5.5 Very High — 86/100
• Opus 4.8 Max — 82/100

Sakana Fugu의 약점

• 궤적 (Trail) 구조가 p.trail 배열을 통해 저장되고 매 프레임 다시 그려집니다; 카오스 모드 + 긴 궤적 길이에서는 렌더링 비용 (render cost) 이 증가합니다.
• Euler/RK4 비교 모드가 없습니다; 오직 RK4만 존재합니다.
• 에너지 드리프트 (energy drift) 제어는 있으나 드리프트 분류가 다소 느슨합니다; 0.1% 미만을 "좋음 (good)"으로 간주하는데, RK4 벤치마크를 위해서는 더 엄격한 임계값 (threshold) 이 좋았을 것입니다.
• 시각적 품질은 좋지만 GPT의 지속적 글로우 궤적 (persistent glow trail) 만큼 영화적이지는 않습니다.
• 자동 테스트/디버그 훅 (test/debug hook) 이 없습니다; UI를 통해서만 관찰이 가능합니다.

Opus 4.8 Max 약점

• 궤적(Trail)이 여전히 배열(array) 기반이며 매 프레임마다 다시 그려집니다. GPT의 오프스크린/지속성 궤적 버퍼(offscreen/persistent trail buffer) 방식만큼 성능 친화적이지 않습니다.
• 혼돈(Chaos) 수치가 고정된 ×9입니다. Fugu처럼 사용자가 복제 수를 조절할 수 없습니다.
• Euler/RK4 비교 모드가 없습니다. 오직 RK4만 적용되어 있습니다.
• 시각적 품질은 매우 뛰어나지만, GPT에 비해 다소 "깔끔한 데모" 느낌이며, 시네마틱한 연출이나 깊이감은 덜합니다.
• Bob2 드래그(drag) 로직은 제약 조건(constraint)을 유지하지만, GPT의 역운동학(inverse-kinematics) 솔루션만큼 정교하지는 않습니다.

GPT 5.5 Very High 약점

• RK4 타임스텝(timestep)이 1/360입니다. Opus나 Fugu의 1/500만큼 조밀하지 않기 때문에, 순수 에너지 보존 측면에서 이론적으로 약간 뒤처질 수 있습니다.
• Euler/RK4 토글(toggle) 기능이 없습니다. 따라서 "여기서 Euler와 RK4의 차이가 나타난다"라는 작업의 기대 효과를 명확하게 보여주지 못합니다.
• 프레임당 서브스텝(Sub-steps/frame) 통계가 UI에서 Opus/Fugu만큼 눈에 띄지 않습니다.
• 자동 window.__pendulum 테스트 훅(test hook)이 없습니다. 이 점에서는 Opus가 벤치마크 친화적(benchmark-friendly)입니다.
• 코드 규모가 더 크고 복잡합니다. 다른 두 모델에 비해 유지보수 비용이 다소 높습니다.