PaperClaw: 자율적 연구 및 인간 참여형(Human-in-the-Loop) 정교화를 위한 에이전트 활용

대규모 언어 모델(Large language models)은 코드를 작성 및 실행하고 문헌을 검색할 수 있는 유능한 추론자이자 도구 사용자(tool users)가 되었으며, 이는 연구 프로세스 자체를 자동화하는 것을 현실적인 목표로 만들었습니다. 우리는 연구 분야 선정부터 완성된 논문에 이르기까지 프로젝트를 자율적으로 수행하는 제어된 멀티 에이전트 시스템(multi-agent system)인 PAPERCLAW를 선보입니다. PAPERCLAW는 해당 분야의 최신 문헌, 데이터셋, 코드를 통해 도메인을 큐레이션하고, 사전 등록된 주요 결과 계약(main-result contract)과 함께 아이디어로 브레인스토밍하며, 측정된 판결로부터만 성장하고 증거가 아이디어를 뒷받침하면 중단되는 '제안-테스트-성찰(propose, test, reflect)'의 반복 루프를 통해 중단 가능한 가설 지도(hypothesis map)를 구동하며, 이 시점에 학술지 규격에 맞는 논문을 작성합니다. 전체 수명 주기 메모리(full-lifecycle memory)는 각 단계를 하나의 살아있는 기록으로 유지하므로, 긴 실행 과정을 문맥 손실 없이 일시 중단, 검사 및 재개할 수 있습니다. 그 중심에는 연구 도구와 기술을 갖춘 사이클 내 연구 보조원(in-cycle research assistant)이 있습니다. 이 보조원은 전체 파이프라인을 스스로 구동할 수 있는 동시에, 동일한 인터페이스를 통해 사람이 어느 단계에서든 개입하여 인간 참여형(human-in-the-loop) 정교화를 통해 첫 자율 초안을 더 강력한 논문으로 발전시킬 수 있게 합니다. 과정 전반에 걸쳐 PAPERCLAW는 출력을 근거 있고 확인 가능하게 유지하며, 공개 학술 인덱스에 대해 검증된 참조 문헌만을 인용하고 실제로 실행된 결과만을 보고합니다. LLM 판사(LLM judge)를 통한 평가 결과, PAPERCLAW는 완전 자율 모드와 인간 참여형 정교화 모드 모두에서 강력한 논문을 생성하는 것으로 나타났습니다.