PrismaCoder: 분해된 루브릭 합성을 통해 개방형 멀티모달 코드 인텔리전스 경계를 확장하다

멀티모달 코드 인텔리전스는 프로그램의 기호적 세계와 그 실행이 만들어내는 시각적 세계를 연결합니다. 모델들이 차트, 웹페이지, 애니메이션 및 반구조화된 문서를 생성하도록 요구받으면서 이 능력에 대한 관심이 급증하고 있습니다. 최근에는 독점(proprietary) 모델들이 텍스트 설명이나 스크린샷만으로도 상호작용하는 아티팩트를 생성하며 크게 앞서 나갔습니다. 하지만 이들의 데이터와 학습 과정은 여전히 폐쇄적이며, 개방형 발전은 사용 가능한 데이터의 양과 질, 그리고 이를 생산하기 위한 파이프라인 및 방법론에 의해 제약을 받고 있습니다. 이 중 품질(Quality) 확보가 가장 어렵습니다. 왜냐하면 샘플이 프로그램으로서 정확해야 할 뿐만 아니라, 잘 구축되어야 하고, 무엇보다 렌더링되었을 때 시각적으로 올바르기 때문입니다. 현재 존재하는 어떤 신호도 이 세 가지를 모두 포괄하지 못합니다. 실행(Execution)은 종종 단순히 통과 또는 실패만을 반환하고, 코드 유사성(code similarity)이 시각적 출력으로 매핑되지 않으며, 태스크별 검증기(task-specific verifiers)는 일반화되지 않습니다. 개방형 발전을 더욱 추진하기 위해, 우리는 데이터 측면에서 PrismaForge라는 계층적 데이터 파이프라인을 시작합니다. 이 파이프라인은 합성된 루브릭(rubric)에 중점을 두어 이러한 요소들을 검증 가능한 기준들로 분해합니다. 동일한 루브릭은 필터와 보상(reward) 역할을 모두 수행합니다. 이는 지도 학습 코퍼스(supervised corpus)를 큐레이션하고, 시각-코딩 태스크에 대한 강화학습 (RL)을 구동하는 데 사용됩니다. PrismaForge를 활용하여 데이터 합성 및 필터링을 진행함으로써, 우리는 멀티모달 코드 인텔리전스를 위한 가장 다양하고 방대한 개방형 데이터셋인 PrismaCoder-2M을 구축했습니다. 모델 측면에서는 이 데이터를 사용하여 PrismaCoder-9B와 PrismaCoder-35B를 학습시키고 둘 다 공개합니다. 이들은 개방형 최첨단(open state of the art)을 크게 능가하며 선도적인 독점 시스템과 경쟁할 수 있습니다. 또한 우리의 분석은 제안된 루브릭 기반 파이프라인이 모든 모델 백본(model backbones)에 걸쳐 멀티모달 코딩 성능을 향상시킨다는 것을 보여줍니다. 우리는 코드와 데이터를 https://qiushisun.github.io/PrismaCoder-Home/에서 공개합니다.