Sibyl-AutoResearch: 자율 연구는 논문 생성기가 아닌 스스로 진화하는 시행착오 하네스(Harnesses)를 필요로 한다

자율 연구 시스템은 과학적 워크플로우 (Scientific Workflow)를 점점 더 실행 가능한 형태로 만들고 있습니다. 즉, 에이전트 (Agents)가 아이디어를 제안하고, 코드를 실행하며, 결과를 검토하고, 논문을 초안하는 것이 가능해졌습니다. 하지만 실행 가능한 워크플로우 그 자체만으로는 연구적 판단 (Research Judgment)을 만들어내지 못합니다. 우리는 현재의 시스템들이 시행착오 경험을 어디에서 놓치고 있는지 분석했습니다: 약한 증거가 산문 (Prose)이 되고, 파일럿 신호 (Pilot Signals)가 광범위한 주장 (Claims)이 되며, 메모리 (Memory)는 텍스트 형태로만 남아 있고, 반복되는 프로세스 실패가 이후의 행동을 변화시키지 못한다는 점입니다. 우리는 과학적 시행착오 하네스 (Scientific Trial-and-Error Harnesses)를 중심으로 구축된 스스로 진화하는 자율 연구 (AutoResearch) 프레임워크인 Sibyl-AutoResearch를 소개합니다. 하네스 (Harness)를 통해 에이전트는 제한된 범위 내에서 시행착오 (Trials)를 수행하고, 긍정적 및 부정적 결과를 보존하며, 학습된 교훈을 이후의 계획 (Planning), 검증 (Validation), 주장 범위 설정 (Claim Scope), 일정 관리 (Scheduling), 비판 (Critique), 작성 (Writing) 및 하네스 수리 (Harness Repair) 단계로 전달할 수 있습니다. 우리는 이를 두 가지 감사 가능한 변환 단위 (Auditable Conversion Units)를 통해 정식화합니다: 시행착오 신호를 이후의 연구 행동과 연결하는 '시행착오-행동 변환 (Trial-to-behavior conversion)', 그리고 반복되는 프로세스 실패를 시스템 업데이트와 연결하는 '시행착오-하네스 행동 변환 (Trial-to-harness-behavior conversion)'입니다. 우리는 이러한 변환 경로를 검사하는 데 필요한 상태 (State), 역할 (Roles), 메모리 (Memory), 게이트 (Gates) 및 아티팩트 추적 (Artifact Traces)을 노출하는 파일 기반 자율 연구 시스템인 SIBYL에서 이 프레임워크를 구현했습니다. 사후 감사 (Retrospective Audit) 결과, 중앙값 1회 반복, 최대 3회 반복의 지연 시간(Latency)을 가진 8개의 높은 신뢰도의 변환 이벤트가 식별되었습니다. 또한 복구된 실패 레지스트리 (Recovered-failure Registry)를 통해 중복된 결과, 오래된 수치, 지원되지 않는 통계 등 자연적으로 발생하는 5가지 실패 클래스가 어떻게 차단되거나, 등급이 낮아지거나, 또는 이후의 수리 단계로 전달되었는지 보여줍니다. 이러한 추적 결과는 비교 성능에 대한 주장을 입증하는 것이 아니라, 제안된 변환 단위들이 실제 자율 연구 작업 공간에서 복구 가능하다는 것을 보여줍니다. SIBYL 프레임워크와 시스템은 https://github.com/Sibyl-Research-Team/AutoResearch-SibylSystem 에서 확인할 수 있습니다.