Glite ARF: 검증기 기반의 병렬 LLM 코딩 에이전트를 활용한 연구

LLM 코딩 에이전트(LLM coding agents)는 실험을 에이전트에게 직접 위임함으로써 경험적 연구(empirical research)를 자동화하고 싶은 유혹을 느끼게 하지만, 단순한 위임은 대규모 프로젝트로 확장하기 어렵습니다. 낮은 빈도의 지시 오류(instruction lapses)가 누적되어 망가지고 재현 불가능한 결과물(artefacts)을 만들어내기 때문입니다. 이 문제를 해결하기 위해, 우리는 재현성(reproducibility)이나 감사 가능성(auditability)을 희생하지 않으면서 연구 저장소(research repository)에서 다수의 LLM 코딩 에이전트를 병렬로 실행할 수 있는 오픈 소스 Python 프레임워크인 Glite ARF를 선보입니다. 이 프레임워크는 세 가지 역할의 스택을 정의합니다: 인간 연구자(human researcher)는 테스트할 가설을 선택하고, 코딩 에이전트(Claude Code, Codex CLI)는 고정된 구조 아래 개별 작업을 구현하며, 결정론적(deterministic) Python 검증기(verifier) 스크립트는 작업 격리, 완료된 작업의 불변성(immutability), 수정 오버레이(corrections overlay), 그리고 구체화된 프로젝트 개요(materialised project overview)를 강제합니다. 우리는 이를 검증기 기반 연구(verifier-driven research)라고 부릅니다. 즉, 연구 프로세스의 규칙은 에이전트가 단순히 따르도록 요청받는 산문(prose)이 아니라, 위반 시 명확하게 실패를 알리는 코드(code) 내에 존재합니다. Glite ARF를 사용하여 우리는 BEA 2026 어휘 난이도 공유 태스크(vocabulary-difficulty shared task)에 제출할 결과물을 개발하였으며, 세 가지 대상 언어(스페인어, 독일어, 중국어) 모두에서 폐쇄 트랙(closed track) 1위, 공개 트랙(open track) 2위를 차지하였고, 공식 베이스라인 RMSE를 각각 29.9%(폐쇄) 및 35.9%(공개) 감소시켰습니다. 이 캠페인은 129개의 기능 세트(feature sets)에 걸쳐 273개의 추적된 작업(146개의 실험 실행)으로 구성되었으며, 단 한 대의 노트북에서 오케스트레이션된 최대 12개의 병렬 에이전트에 의해 실행되었습니다(일부 모델 학습은 대여한 A100에서 수행됨). LLM API 비용은 약 $450(총 제3자 비용 $498)가 소요되었습니다. 또한 구조화된 폴드별 출처(per-fold provenance)를 통해 타겟 누출(target-leaking)이 발생하는 4개의 기능 세트를 포착하여 제거할 수 있었으며, 이를 통해 비현실적인 0.609 RMSE를 0.802로 교정하였습니다. 세 가지 도메인에서의 세 차례 캠페인 전반에 걸쳐, 이 프레임워크의 구조적 메커니즘은 실제 소요 시간(wall-clock time)을 약 1%만 추가했습니다. 본 논문에는 프레임워크와 공개 데모 프로젝트가 포함되어 있습니다.