SIA: Harness 및 가중치 업데이트를 통한 자기 개선 AI (Self Improving AI)

인간은 AI를 구축하고 개선하는 데 있어 병목 현상 (bottleneck)이 되고 있습니다. 모델과 이를 감싸는 에이전트 (agent) 모두 사람이 작성하고, 튜닝하며, 수정합니다. 스스로 개선하는 방법을 찾아낼 수 있는 AI라는 장기적인 목표는 여전히 미해결 과제로 남아 있습니다. 두 가지의 서로 분리된 연구 흐름이 이 병목 현상에 대응하고 있습니다. Harness-update 학파는 모델의 가중치 (weights)를 고정한 상태에서, 메타 에이전트 (meta-agent)가 작업 특화 에이전트의 스캐폴드 (scaffold, 도구, 프롬프트, 재시도 로직 및 탐색 절차)를 재작성하도록 합니다. Test-time training 학파는 스캐폴드를 고정한 상태에서, 수기로 작성된 강화학습 (RL) 파이프라인을 사용하여 작업 피드백에 따라 모델 자체의 가중치를 업데이트합니다. 이 두 영역은 서로 고립되어 운영됩니다. 우리는 언어 모델 에이전트 (Feedback-Agent)가 작업 특화 에이전트의 harness와 가중치를 모두 업데이트하는 자기 개선 루프인 SIA를 제안합니다. 우리는 세 가지 대조적인 도메인인 중국 법률 기소 분류, 저수준 GPU 커널 최적화 (GPU kernel optimisation), 그리고 단일 세포 RNA 노이즈 제거 (single-cell RNA denoising)를 통해 이를 평가합니다. 두 가지 레버 (levers)를 결합하는 것은 세 가지 벤치마크 모두에서 스캐폴드 반복 (scaffold iteration)만 수행했을 때보다 더 나은 성능을 보였습니다. 초기 베이스라인 대비 LawBench에서는 56.6%의 성능 향상, GPU 커널에서는 91.9%의 실행 시간 단축, 노이즈 제거에서는 502%의 성능 향상을 기록했습니다. Harness 업데이트는 모델을 에이전트화 (agentic)하여 모델이 탐색하고 행동하는 방식을 형성하며, 가중치 업데이트는 그 어떤 프롬프트나 스캐폴드로도 주입할 수 없는 도메인 직관 (domain intuition)을 구축합니다.