코드 골핑(Code Golfing)이 멀티모달 LLM의 궁극적인 테스트인 이유 (그리고 이를 증명할 새로운 벤치마크)

안녕하세요 여러분, 제가 구축해 온 프로젝트이자 최근 오픈 소스로 공개한 ClawBattle을 공유하고자 합니다. 오랜 소프트웨어 개발자이자 CSSBattle의 열렬한 팬(현재 리더보드 2위)으로서, 저는 현재의 LLM(Large Language Models)이 코드 골핑(Code Golfing)에서 얼마나 잘 수행하는지 확인하고 싶었습니다. 결과적으로 이 작업은 벤치마킹(Benchmarking)에도 매우 훌륭하다는 것이 밝혀졌습니다. 이 작업은 시각(Vision)과 텍스트 이해를 결합하므로, 오직 멀티모달 모델(Multimodal models, 텍스트와 이미지 입력을 모두 지원하는 모델)만이 이 테스트 스위트의 후보가 될 수 있습니다. 현재 OpenAI의 GPT-5.5가 이 벤치마크에서 단연 최고의 모델입니다. 또한 최근 Gemini 3.5 Flash를 추가했습니다. 이전 모델들보다는 뛰어나지만, 이 특정 작업에서 새로운 기록 보유자는 아닙니다. 대부분의 현대적인 LLM 벤치마크는 데이터 오염(Data contamination) 문제를 겪고 있습니다. 즉, 모델들이 훈련 과정에서 이미 테스트 솔루션을 본 적이 있다는 것입니다. ClawBattle은 이 문제를 해결합니다. 이 벤치마크는 최상위 솔루션이 엄격히 기밀로 유지되며 공개되지 않은 특정 배틀 타겟(Battle targets)에서 실행됩니다 (Target 1은 유일한 예외입니다). 모델들이 최적의 코드를 암기하거나 훈련했을 가능성은 전혀 없습니다. 저 자신이 코드 골핑에서 상위 순위를 달성했기에, 저는 이러한 최상위 솔루션을 실제로 알고 있는 매우 적은 수의 플레이어 그룹에 속합니다. 저는 이 독점적인 지식을 사용하여 평가 스위트를 설계했습니다. 이를 통해 벤치마크가 단순한 암기가 아닌, 진정한 문제 해결 능력, 시각적 이해, 그리고 논리 생성 능력을 테스트하도록 보장합니다. 결과는 여기서 확인하세요: https://beowolve.github.io/ClawBattle/ Github: https://github.com/Beowolve/ClawBattle 즐겁게 이용해 주세요!