EngramBench: 스킬 진화 활용을 위한 역량 기반 벤치마크

대규모 언어 모델(LLM)이 독립적인 코드 생성에서 놀라운 성공을 거두었지만, 실제 소프트웨어 엔지니어링은 지속적인 추론, 복잡한 상태 관리, 그리고 연속적인 도메인 간 추상화를 요구합니다. 그러나 자율 에이전트의 스킬 진화에 대한 현재 평가는 심각한 식별 가능성 문제(identifiability problem)를 안고 있습니다. 즉, 실제 역량 추상화와 단순 반복적 해결책 누출(rote solution leakage, 역사적 훈련 데이터에서 매우 유사한 코드를 복사하는 것)을 구조적으로 혼동한다는 것입니다. 이를 해결하기 위해, 우리는 EngramBench를 소개합니다. 이는 '해결책 중복 없음'이라는 엄격한 공리(axiom)에 의해 지배되는, 엄격하고 역량 기반의 벤치마크입니다. EngramBench는 30개의 다양한 학습 과제와 13개의 미개척 전이 과제로 구성되어 있으며, LLM으로 시뮬레이션된 사용자에 의해 구동되는 상호작용적이고 다시간(multi-hour) 개발 주기를 에이전트에게 수행하도록 도전합니다. 인간 전문가의 검증을 거친 48개의 다시간 실행 궤적에 걸친 우리의 광범위한 평가는 절차 기억(procedural memory)에 대한 심오한 통찰력을 보여줍니다. 우리는 정적인 스킬 은행이 정확한 코드 구현의 '마지막 1마일'을 마법처럼 우회할 수 없으며, 이 부분이 기본 모델의 내재적 추론 한계에 의해 여전히 병목 현상을 일으킨다는 것을 입증합니다. 하지만, 이는 필수적인 실행 나침반 역할을 합니다. 에이전트를 치명적이고 토큰이 많은 시행착오(trial-and-error)에서 벗어나게 함으로써, 진정한 역량 추상화는 불필요한 컨텍스트 팽창을 줄이고 전체 코딩 시간을 55% 이상 단축시킵니다. 궁극적으로 EngramBench는 평가 패러다임을 사소한 패턴 매칭에서 깊고 도메인 간의 역량 전이(cross-domain capability transfer)를 검증 가능하게 측정하는 것으로 전환시킵니다.