적기 시스템(Just-in-Time Systems)의 시대가 도래했다: 도전 과제와 기회

Key-value store와 같은 핵심 시스템들은 역사적으로 구축하는 데 수년이 걸렸으며, 배포 전반에 걸쳐 비용을 분산시키기 위해 범용적으로 설계되어 상당한 성능 비용을 지불해 왔습니다. 우리는 LLM 기반 코딩 에이전트(coding agents) 덕분에 이제 다른 접근 방식이 실행 가능해졌다고 주장합니다. 그것은 바로 시스템 전체를 환경, 워크로드(workload), 그리고 요구되는 시스템 속성에 맞춰 처음부터 합성(synthesize)하는 '적기 시스템 (Just-in-Time Systems, JIT Systems)'입니다. 우리는 JIT 시스템 합성 파이프라인인 Jitskit을 제시하며, 다양한 YCSB 워크로드, 배포 제약 조건(예: 컴퓨팅 자원), 그리고 시스템 속성(예: 일관성(consistency) 및 내구성(durability))을 아우르는 스펙 카드(spec cards)로부터 key-value store를 합성하는 데 있어 Jitskit의 효과를 탐구합니다. Jitskit은 진화하는 평가 테스트 스위트(evaluation test suite)에 맞추어 명세(specification)를 충족하도록 시스템 구현을 반복적으로 개선합니다. 결과적으로 합성된 시스템은 성능이 뛰어나며, 시도된 18개의 명세 중 18개 모두에서 유사한 최첨단(state-of-the-art) 시스템을 능가하였고, 가장 유리한 명세에서는 가장 우수한 기성(off-the-shelf) 베이스라인보다 최대 4.6배 더 높은 성능을 보였습니다. Claude Code를 단순하게 실행할 경우, 보상 해킹(reward-hacks)을 하거나 Jitskit보다 성능이 최대 5.4배 낮게 나타납니다. 우리는 Jitskit을 구축하면서 극복한 도전 과제들과 주요 시사점(takeaways)에 대해 논의합니다.