연구: DeepSeek/GLM Flash 모델 및 사용자 지정 하네스(harness)를 사용한 Claude Code + Sonnet 5.5

안녕하세요! 저는 소셜, 마케팅 및 인쇄 디자인을 위한 Rivermark라는 사용자 지정 에이전트 하네스(agentic harness)를 개발해 왔습니다. LLM(심지어 최신 모델들까지도)을 이 분야에 사용하려는 분들은 아시다시피, 웹사이트나 앱 디자인처럼 기술력이 뛰어난 분야와 비교했을 때 다소 들쭉날쭉할 수 있다는 것을 알고 계실 겁니다. 저희가 만든 벤치마크는 비즈니스가 에이전트에게 요청할 수 있는 다양한 소셜 및 마케팅 이미지에 대한 총 112개의 요청으로 구성되어 있습니다. 이 중에는 적절한 브랜드 키트(brandkit)를 포함하는 경우, 브랜드 웹사이트 참고 자료가 있는 경우, 그리고 아무것도 없는 상태에서 시작해야 하는 경우가 있습니다.

자, 4700개 이상의 쌍별 블라인드 인간 평가를 기반으로 한 첫 번째 결과가 나왔습니다! 제가 예상하지 못했던 핵심 발견은 오픈 모델들, 예를 들어 DeepSeek v4.1 Flash 1017과 GLM 5.3 Flash가 순수한 Claude Code와 Sonnet 5.5 및 /design을 사용한 결과를 매칭하거나 능가한다는 것입니다. 특히 Sonnet 5.5 자체가 Rivermark를 통해 가장 큰 향상을 보여주며, 다른 모든 것들을 압도하는 인상적인 선두 주자로 올라섰습니다. 이것 역시 놀라웠는데, 저는 이미 그러한 노하우(know-how)가 코딩되어 있기 때문에 '더 똑똑한' 모델들에서 이점은 더 작을 것이라고 예상했기 때문입니다.

현재 블로그 게시물을 작성하고 더 많은 심사위원들과 함께 결과를 검증하는 중이지만, 흥미로운 예비 결과를 공유하고자 합니다. 첫 번째 사진에서는 이러한 모델/하네스 조합에 대한 Bradley-Terry 순위(rankings)를 볼 수 있습니다. 두 번째 사진은 비용 대 품질 비교이며, 세 번째 사진에서는 Rivermark와 일반 하네스를 사용했을 때 모델들이 출력하는 대표적인 예시들을 확인할 수 있습니다.

물론 몇 가지 매우 중요한 주의사항이 적용됩니다: 이것은 디자인에 특화된 하네스입니다. 또한 특정 도메인 지식(저는 이를 제한적으로 유지하려고 노력했습니다)을 포함하고 있습니다. 최신 프런티어 모델들이 점점 더 좋아짐에 따라 이러한 이점들은 사라지는 경향이 있지만, 현재로서는 비용의 일부만으로 유사한 결과를 달성할 수 있는 방법을 제공합니다. 이 하네스는 이미 일부 모델에서 실제 서비스(production) 환경에서 실행되고 있으며, 해당 모델들에 맞춰 조정되었습니다. (다만 벤치마크 테스트 케이스를 사용한 것은 아닙니다.) 현재는 제품 자체(https://rivermark.ai)와 매우 밀접하게 연결되어 있습니다.

오픈 소스 버전을 출시할 계획이지만, 여전히 범용 코딩 에이전트(general purpose coding agent)는 아닐 것입니다. 이 제품 자체는 디자인을 한 번에 완성하는 것(one-shotting designs)보다는 속도와 반복 작업의 용이성(pleasantness of iteration)에 최적화되어 있으며, 이는 하네스(harness)에도 반영되어 있습니다. 예를 들어, 우리는 더 빠르지만 비용이 많이 드는 FlashX GLM API 엔드포인트(endpoint)를 사용하며, 자체 검토(self-review)에 대해서는 다소 보수적입니다. 완벽한 원샷(one-shot)에만 초점을 맞춘 무언가를 만든다면, 품질과 비용 면에서 이 결과들을 능가할 수 있다고 확신합니다. 질문 환영합니다! 제출자: /u/JannVanDam [링크] [댓글]